通過多年的金融電子化建設,銀行積累了大量反映銀行經營管理活動的數據,然而,因爲早期的信息化建設是個逐步摸索的過程,缺少統一的規劃和信息標準,致使在大多數銀行的數據存儲中出現了沒有統一的數據源、數據孤島、數據不一致、數據質量不高、安全性低等問題,阻礙了銀行經營管理的智能分析。ODS系統就是基於目前銀行數據存儲的弊端而產生的。ODS(Operation Data Store),即操做型數據存儲,是一個面向主題的、集成的、可變的、實時的數據集合,用於支持企業對於即時性、操做性、集成的全體信息的需求。算法
北京銀行的ODS平臺完成了各業務系統的數據整合,符合RX.LDM規範的模型設計,並爲客戶CRM、績效考覈、經營分析、非現場稽覈、反洗錢、全行報表等應用系統提供有效的數據支持。隨着接入的行內業務系統以及各分行系統的增多,各系統與ODS平臺間傳輸的數據量也在不斷加大。安全
不少交換的數據以文件的形式進行傳輸、管理和業務處理,而北京銀行內部業務系統以及各分行系統間的文件傳輸若是採用點對點直接傳輸會致使傳輸路徑不清晰,且數據傳輸過程當中沒法統一管理、統計、審計,使系統的運維管理變得很是困難。所以,北京銀行須要建設一個專業的文件傳輸系統,以支持ODS系統底層數據文件的交換。網絡
根據ODS系統的數據交換與管理模式要求,底層文件傳輸系統須要支持如下的企業級特性:多線程
文件可靠傳輸:保證文件在兩節點間的可靠傳輸,保證文件在傳輸過程當中不丟、不錯、不漏。ide
任務靈活調度:經過簡單的配置實現傳輸任務靈活調度和自動運行。模塊化
傳輸監控和管理:經過監控界面可以直觀地發現系統運行過程當中產生的錯誤或告警;經過查詢能夠隨時統計出傳輸日誌。 加密
用戶權限管理:在用戶和角色權限管理中,每一個用戶及其角色在總管理中心由管理員統一分配。不一樣的操做員只能管理和監控本身權限範圍內的節點。spa
斷點續傳:在網絡等出現故障的狀況下,通用傳輸系統可以從斷點續傳文件,而不是從頭再傳。線程
文件壓縮傳輸:系統支持智能壓縮的功能選項,若是要傳送的文件自己就是壓縮文件,可以被智能識別,從而避免重複壓縮/解壓,不然可以自動調用壓縮傳輸功能,到達目的地後,應該能自動解壓。 設計
安全需求:系統自己要有加密的功能選項,也要提供加密的接口,可使用用戶本身編寫的加密算法。
流量控制:系統的其餘業務在高峯期時,GTP可以控制兩個節點之間數據傳輸的速度,控制帶寬的佔用率。
當前,與ODS系統之間存在數據交換的應用系統分佈在總行和分行,向ODS提供數據的包括:核心、信用卡、網銀、電話銀行、信貸系統等,而ODS主動供數的目標主題應用系統包括:CRM、稽覈、信貸、管理會計,以及九個異地分行的相關係統。
爲了解決各個業務系統和分行間數據文件傳輸難於管理和統計,規範傳輸線路,北京銀行在ODS平臺中使用了東方通的TongGTP來完成文件的傳輸和管理。
如上圖所示,向ODS提供數據的系統、ODS系統,以及各個相關的目標主題應用等三者之間的數據交換,以文件方式進行數據組織和傳輸。
其中,數據文件的傳輸,是經過GTP軟件來提供自動、定時的傳輸支持。同時,全部傳輸會由一個集中的管理控制中心來配置、管理和統計。
TongGTP爲北京銀行ODS平臺中的文件傳輸模塊提供了核心的技術優點,包括:
可靠傳輸:平臺基於消息中間件核心技術,提供傳輸過程當中的可靠保障,可以自動處理各類異常狀況,保證系統7*24小時不間斷運行,以保護業務系統處理不中斷,從而顯著節省維護成本;
高效傳輸:經過各類技術手段,提供傳輸高效性保障,包括斷點續傳、自動壓縮、多線程等,支持對底層傳輸進行參數調整,以適應各類網絡情況;
安全傳輸:經過網絡層、數據層和操做層的各項措施,實現安全鏈接、節點認證、數據加密、用戶權限管理、身份認證,以及操做審計等功能,提供全面的安全保障機制;
易於管理:基於集中式的管理和監控中心,能夠對網絡中全部的傳輸節點進行統一監管,包括對各個節點的傳輸配置、運行監控、數據跟蹤、信息統計,以及對系統操做的安全審計、傳輸信息的過後審計等一系列的管理和監控;
易於擴展:傳輸平臺中的各個傳輸節點,採起模塊化的設計理念,傳輸節點上的業務系統,以及傳輸網絡中的各節點都可以動態調整和擴展,以實現對業務隨需應變的支撐;
北京銀行的ODS平臺在文件傳輸上使用了東方通的TongGTP來實現,使得文件傳輸更加安全、可靠、高效和易於管理。TongGTP的高可用性、易用性和易擴展性使得用戶能夠把更多的開發資源投向ODS平臺的其餘業務實現,爲用戶節省了資源和各項成本。