分佈式數據庫助力大型商業銀行業務智慧化

隨着銀行業務的拓展以及網點業務的需求量加大，在新一輪技術浪潮驅動下，各大商業銀行也在紛紛推動智能網點的建設。其中，商業銀行的櫃面無紙化就是最早推動的業務之一。

 

銀行智慧化業務轉型

包括廣發銀行、民生銀行在內的大型商業銀行，已經於近幾年陸續上線櫃面無紙化業務，並開始在全國網點進行推廣使用。從此，隨着櫃面無紙化、「一站式」綜合店員、人工智能等系統的陸續應用，各大商業銀行也將全面實現網點智能化轉型建設。

「無紙化」業務做爲商業銀行的新一代應用業務，對於數據管理帶來了新的挑戰。針對銀行在新一代櫃面無紙化業務上的痛點需求，巨杉數據庫在保證穩定安全的基礎上，利用其所支持的非結構化存儲、結構化事務、可彈性擴張、高可用、以及多數據中心災備等能力，全面支持廣發、民生銀行的櫃面無紙化業務，爲業務帶來巨大提高。

 

金融級分佈式數據庫助力大型商業銀行

巨杉數據庫爲底層數據引擎的分佈式非結構化數據管理平臺，已經在包括民生銀行、廣發銀行在內的超過50家大型銀行業務應用。在某大型股份制商業銀行業務系統中，巨杉數據庫總集羣部署節點數達到122臺物理服務器，部署邏輯節點1530個，平臺服務銀行網點數超過840個 ，性能響應在毫秒級別，數據實現了同城數據中心災備和雙活。

大型商業銀行，平均有超過300~400個業務系統，每個業務系統既有完整技術棧，又和不一樣的業務之間存在許多的相互依賴和相關的關係，業務和技術複雜度遠超其餘行業。此外，銀行對於平臺可靠性要求最爲嚴苛，核心數據需保證0丟失、0錯誤率，核心業務系統也有「5個9」以上的穩定性要求。這些要求給後臺數據庫帶來了極大的要求，所以業界也戲稱銀行是企業級數據庫的「試金石」。

巨杉數據庫分佈式雙活部署總體示意圖

 

1）非結構化數據存儲

做爲一款分佈式的交易型數據庫，SequoiaDB數據庫提供了同時存儲結構和和非結構化引擎的機制，非結構化數據的存儲在引擎中主要是以 LOB形式來實現的。SequoiaDB 3.0在對象存儲API的基礎之上提供了標準Posix文件系統接口，可以原生接入任何支持Posix協議標準的操做系統，用戶對應用程序無需任何改造便可從NAS遷移至SequoiaDB。

在巨杉數據庫中，LOB大對象存儲引擎可將各類尺寸的非結構化文件切分紅小存儲塊，按散列映射存放於集羣的多個數據組，實現文件的高效併發存取，對外提供對象標識進行文件訪問。

在巨杉數據庫中，LOB存儲結構分爲元數據文件（lobm）與數據文件（lobd）。其中，元數據文件存儲整個LOB數據文件的元數據模型，包括每一個頁的空閒情況、散列桶、以及數據映射表等一系列數據結構。而數據文件則存儲用戶真實數據，數據頭以後全部數據頁按照page size進行切分，每一個數據頁不包含任何元數據信息。

 

與結構化數據的記錄引擎徹底不一樣，巨杉數據庫的非結構化存儲提供了原生的對象文件塊存儲機制，同時適用於影像類大文件與票據類小文件。在巨杉數據庫對小文件存儲與檢索的過程中，每一個數據塊均使用散列算法判斷其所處的物理位置，所以不會進行任何物理查表操做，數據庫也不須要維護每一個對象文件的物理位置表，所以不論從安全性、吞吐量、以及響應速度都遠遠高於其餘同類對象存儲。

 

2）多活與災備

巨杉數據庫的原生分佈式架構，一方面提供了引擎級別的內部數據多副本和高可用以及基於Raft算法的數據一致性的保證。同時，在跨數據中心層面，能夠作到分佈式集羣爲單位的容災和多活機制，在知足數據安全要求下減小了數據安全方面的部署和運維難度。

從多活架構的角度看，巨杉數據庫都秉承着計算存儲分離的設計思路，所以其SQL解析與執行器每每與數據存儲和事務控制分別運行在不一樣的進程中。在這種狀況下，利用數據庫自身分佈式與三副本複製的特性，將數據打散放置在多個數據中心內，每一個數據中心配置本地SQL服務節點，從應用程序的角度看不須要關注底層數據庫的主從架構，僅須要經過JDBC鏈接到本地的SQL服務節點進行讀寫操做便可。在這種架構下，每一個SQL節點徹底對等，並都可以處理讀寫操做。全部的事務控制、一致性控制、鎖等待等機制都由底層的分佈式數據庫直接提供。

以兩地三中心爲例，在該架構中，城市A機房1做爲主機房，提供與同城的機房2之間的同步數據複製。而對於城市B的機房來講，在帶寬足夠的狀況下能夠選擇使用同步機制與城市A的機房進行數據複製。而在帶寬不足時則能夠選擇異步的複製方式。

同時，巨杉也支持異地災備機房的按期追加更新。用戶能夠經過定義異地災備機房的同步策略，使災備機房按期進行日誌文件的同步，以作到災備機房與主機房的數據擁有必定的時間差別，避免手工誤操做。

 

3）高性能實時性能響應

經過分佈式架構，多維數據分區，高性能索引，以及數據壓縮等機制，影像平臺不管非結構化數據仍是結構化數據在大數據量下依舊保持性能的平滑擴展，實時響應。在性能測試對比中，對比巨杉數據庫，傳統NAS方案想要達到一樣吞吐量至少須要3倍以上的磁盤數量。

如下是巨杉數據庫在實際測試環境中，對於非結構化數據管理這塊的測試數據：

• 2GB/s的總體吞吐量，分佈式架構
• 6節點x86服務器、整個集羣共36塊SAS盤
• 傳統方案，高端配置：1.5GB/s 120塊盤以上

 

• 100%寫入場景

吞吐量（MB/秒）	50KB	200KB	1MB	10MB
整個集羣（6節點）	353.3	1232.8	2223.3	2077.5
平均單物理節點	58.9	205.5	370.5	346.3
數據寫入平均時延（ms）	14	16	44	466

 

• 100%讀取場景

吞吐量（MB/秒）	50KB	200KB	1MB	10MB
整個集羣（6節點）	352.9	1225.1	2410.9	2653.3
平均單物理節點	58.8	204.2	401.8	442.2
數據寫入平均時延（ms）	14	16	41	369

 

• 混合業務場景

吞吐量（MB/秒）	50KB	200KB	1MB	10MB
整個集羣（6節點）	363.7	1266.0	1872.8	2323.8
平均單物理節點	60.6	211.0	312.1	387.3
數據寫入平均時延（ms）	寫：14 讀：16	寫：14 讀：15	寫：35 讀：106	寫：293 讀：749

 

民生銀行：

民生銀行是中國第一家主要由民營企業發起設立的全國性股份制商業銀行

，截至2017年底，中國民生銀行已經成爲資產總額59,020.86億元，一級資本淨額超過3800億元、資產總額超過5.9萬億元、分支機構近3000家、員工近5.8萬人的大型商業銀行。在英國《銀行家》雜誌2017年7月發佈的全球1000家大銀行排名中，中國民生銀行位居第29位。民生銀行堅持「民營企業的銀行、科技金融的銀行、綜合服務的銀行」的戰略定位，銳意變革創新，加速戰略轉型，致力於成爲一家特點鮮明、價值成長、持續創新的標杆性銀行。

(摘自民生銀行官網)

 

廣發銀行：

廣發銀行是國內首批組建的股份制商業銀行之一。目前在全國設立了43家一級分行、843家營業機構，並與全球125個國家和地區的1,718家銀行總部及其分支機構創建了代理行關係，爲超過30萬對公客戶、3,422萬我的客戶、5,711萬張信用卡客戶、2,427萬移動金融客戶提供優質、全面的金融服務。廣發銀行在移動金融創新領域一直走在行業前列，強力推進智慧化銀行發展，持續推進移動金融創新，在升級普惠金融、助力實體經濟等方面取得了豐富成果。

（摘自廣發銀行官網）

 

小結：

目前，巨杉數據庫已經在目前，巨杉數據庫付費企業級客戶與社區用戶總數超過1000家，並已在超過50家500強級別的銀行、保險、證券等大型金融機構生產業務上線。

對於非結構化數據管理，巨杉數據庫在金融行業的應用場景包括：金融行業新一代影像平臺、內容管理雲平臺、傳統ECM替換、計算機視覺與人工智能、金融雙錄系統以及電子證照等數十個個業務場景。