引言
近年來,全球金融科技每一年的投入已經超過500億美圓,中國的金融科技發展更是引領世界潮流。在金融科技不斷髮展的今天,中國金融互聯網化和零售化的發展越發激烈,使得我國金融業務與科技的有機結合應用模式備受世界矚目。數據庫
對應着高速發展的業務模式與創新,現代金融系統亟需技術架構的革新來知足日益增加的業務需求。這其中包括了業務系統敏捷性、風險控制、成本控制、性能和業務發展對應的彈性增加能力。在信息化時代的今天,數據庫承載着金融企業的核心數據。做爲新技術架構的樞紐,金融級數據庫是現代金融系統轉型與革新的基礎。安全
2017年,在國際著名的技術和市場分析機構Gartner的「2017年數據庫報告」中,中國的三家數據庫廠商有史以來第一次入選報告,分別是阿里雲數據庫,巨杉數據庫SequoiaDB以及南大通用Gbase數據庫。三款數據庫都是徹底中國團隊自研,雖然應用場景不徹底相同,但都在金融行業擁有不錯的應用案例,能夠說十分符合「金融級」的要求。而這也標誌着在數據庫領域,中國廠商的力量已經逐漸崛起,標誌着在開源領域以外的基礎軟件領域,中國廠商也已經逐漸登上了國際知名的舞臺。服務器
一樣2017年末,Gartner與巨杉數據庫聯合發佈了《金融級數據庫的將來發展方向》報告,報告闡述了金融行業對於數據庫的將來需求以及金融級的數據庫將來的發展方向。架構
本文咱們也將看看「金融級」數據庫的將來發展方向。併發
金融級數據庫發展
長期以來,金融級數據庫市場被Oracle、IBM DB二、Microsoft SQLServer等傳統關係型數據庫所壟斷。在經歷了幾十年的發展與迭代後,傳統關係型數據庫已經沒法適應新型金融科技發展的須要。所以,由新型分佈式數據庫替代傳統架構,成爲金融級數據庫市場的主流趨勢。運維
在過去的幾十年中,受限於傳統數據庫的存儲與計算能力,企業中不一樣業務部門之間的數據每每以獨立的方式分別存放。而伴隨着金融科技新型業務的不斷髮展,跨部門、跨業務的數據訪問成爲企業的核心需求。可是,各業務系統獨立存放的數據每每造成一個個「數據孤島」,使得企業內部的數據管理面臨極大的挑戰。分佈式
新型分佈式數據庫的出現旨在打破傳統數據管理的體系,將跨業務、多類型的數據進行統一的管理與維護,從數據的層面將企業內部的各個部門與業務線融會貫通。
爲了實現這個目標,新型金融級數據庫須要在分佈式架構、多模式數據管理、標準化數據訪問、數據可靠性、與混合負載等幾個角度對傳統數據庫架構進行從新定義。高併發
分佈式架構
伴隨着金融科技的互聯網化,傳統數據庫架構已經沒法承載爆炸性增加的海量數據。同時,互聯網渠道的大規模引入,使得金融科技應用對數據庫的併發能力與性能產生新的需求。性能
因爲傳統數據庫的單點架構沒法知足新型金融科技應用對數據量與併發能力的需求,新一代金融級數據庫必須採用分佈式架構來應對該類挑戰。阿里雲
在傳統數據庫架構中,企業必須經過不斷加強單一硬件設備處理性能的方式,來提高數據庫的存儲與處理能力。可是,在信息爆炸的今天,硬件性能的提高遠遠落後於數據量的增加。所以新型數據庫採用分佈式架構,將海量數據均勻存儲在多臺物理設備中,以免單一設備所形成的瓶頸。
同時,分佈式數據庫的靈活擴展能力,爲金融業務增加提供了彈性的容量與性能支持,在大規模數據應用中具備明顯的技術優點。
此外,使用PC服務器或雲環境,新型分佈式數據庫在保障安全可靠的前提下,可以有效下降TCO,提高開發與運維效率。
多模式數據管理
現在,在金融業務「互聯網化」和「零售化」的趨勢下,金融機構開始向用戶提供更多個性化、定製化的產品與服務。同時,伴隨着各個業務系統自身複雜性的提高,系統之間的關聯性也在不斷加強。所以,應用系統對數據的存儲管理提出了新的標準和要求。
一直以來,傳統關係型數據庫僅支持表單類型的結構化數據存儲和訪問能力,而對於層次型對象、圖片影像等半結構化與非結構化數據管理無能爲力。
爲了實現金融業務數據的統一管理和數據融合,新型數據庫須要具有多模式(Multi-Model)數據管理和存儲的能力,以知足應用程序對於結構化、半結構化、非結構化數據的管理需求。
一般來講,結構化數據特指表單類型的數據存儲結構,典型應用包括銀行核心交易等傳統業務;而半結構化數據則在用戶畫像、物聯網設備日誌採集、應用點擊流分析等場景中獲得大規模使用;非結構化數據則對應着海量的的圖片、視頻、和文檔處理等業務,在金融科技的發展下增加迅速。
多模式數據管理能力,使得金融級數據庫可以進行跨部門、跨業務的數據統一存儲與管理,實現多業務數據融合,支撐多樣化的金融服務。
標準化數據訪問
隨着多業務、多模式數據的統一與融合,不斷加強的業務多樣性、複雜性使得數據訪問方式面臨了新的挑戰。
在傳統數據庫中,SQL幾乎是數據庫惟一的訪問方式。而隨着業務多樣化的發展,非結構化和半結構化數據在金融科技應用的比重不斷增大。所以,新型分佈式數據庫除了須要對結構化數據提供標準SQL語言的支持,還須要針對半結構化、非結構化數據提供如JSON、對象存儲管理等訪問能力。
標準化數據訪問能力既知足了多類型數據管理的需求,也爲企業有效提高了開發與運維的效率。所以,金融級數據庫做爲新金融科技架構的樞紐,須要爲應用程序提供標準化的數據訪問能力。
數據安全
伴隨着在企業內部價值的不斷提高,數據已經成爲了金融企業的生命線與核心資產。做爲承載着企業關鍵數據的數據庫,其安全性、可靠性、穩定性一直是金融級數據庫的核心價值。
同時,不管在中國仍是海外,金融行業的數據安全已經成爲了監管機構的首要要求。例如,銀行核心系統安全一直是我國銀監會所關注的重點,大部分銀行數據中心早已具有高可用與「兩地三中心」的能力。
可是,在分佈式架構中完美實現高可用與容災面臨着諸多技術挑戰。通常來講,以統計分析爲目標的分佈式數據庫相對弱化了該部分的功能,而面向在線與交易業務的分佈式數據庫則對數據安全保持了高標準的嚴格要求。
例如,數據容災與雙活是金融企業數據安全的最後保障。容災要求數據在多箇中心進行實時互備,一旦數據中心發生重大災難,全部在線生產業務能夠及時切換中心繼續運行。而雙活則是在容災的基礎上,讓主備數據中心同時承擔生產業務,充分利用雙活能力提高業務性能,進一步減小災難發生時的宕機時間。
混合負載
伴隨着業務多樣化與數據大融合,不一樣的業務對於數據管理的功能要求也不盡相同。因爲傳統數據庫的數據存儲與訪問方式單一,用戶一般將應用分爲在線業務與離線業務兩類。
在線業務通常表示如銀行核心交易系統等面向最終用戶的業務系統。一般來講,這類系統須要知足高併發、低延時、高可靠等特性。而與之對應的離線業務則專一於批處理做業。通常這類業務具備高吞吐量、低併發、高延時等特徵。
隨着金融科技業務的不斷髮展與融合,各業務條線對於數據的需求也再也不徹底獨立。在該趨勢下,金融級數據庫須要同時支持在線業務與離線業務的混合負載。
根據Gartner的最新定義,混合負載(HTAP Hybrid Transactional/Analytical Processing)在保留原有在線交易功能的同時,也強調了數據庫原生計算分析的能力。支持混合負載的數據庫可以避免在傳統架構中,在線與離線數據庫之間大量的數據交互,同時也可以針對最新的業務數據進行實時統計分析。
爲了不在線實時讀寫與批處理做業之間的資源干擾,混合負載型數據庫一般使用讀寫分離或內存處理技術實現。通常來講,分佈式數據庫的多副本架構自然支持讀寫分離技術,而基於傳統架構的數據庫每每採用內存處理技術進行實現。
結語:關於中國金融級數據庫發展
長久以來,金融行業在所有企業級IT投入中一直佔據50%以上。在幾十年業務發展與強監管的要求下,金融機構廣泛對數據庫的安全性、可靠性、穩定性有着全行業最爲嚴苛的要求。所以,知足金融行業需求的金融級數據庫產品已經成爲所有行業中的標杆。
與此同時,中國的商業銀行的用戶數量也一直保持世界前列。隨着中國經濟快速發展以及普惠金融、交易銀行等業務和政策的推廣,中國的商業銀行業務也在向「互聯網」、「零售化」不斷轉型。這使得銀行與最終用戶距離更貼近、交互頻率更多、業務場景更多樣。這些新需求促使中國的金融和銀行業技術轉型不斷加速,並在多種技術與業務模式上走在世界前列。
另外一方面,數據庫產品的發展成熟週期漫長。通常來講,一個在金融行業大規模使用的數據庫產品,須要在技術、產品、工程、售後支持以及行業經驗上具備至關長時間的積累才能慢慢走向成熟。
此外,不一樣於應用軟件,做爲基礎軟件的通用數據庫產品要在各種客戶中知足各類業務需求,而不只僅只爲單一特定的場景服務。這要求數據庫廠商緊緊掌握產品核心代碼以及發展方向,從而可以在快速應對客戶各種需求的同時,保證高度的產品化與標準化。同時,金融級數據庫產品所面對的銀行、證券、保險等頭部行業對產品的質量與穩定性要求極高,這使得用戶對金融級數據庫在產品上的複雜度與成熟度又提出了更高層次的要求。
在這樣的背景下,巨杉數據庫做爲我國自主研發的金融級數據庫產品,其技術方向領先、應用場景多樣、而且在金融企業中得以大規模應用。所以,巨杉數據庫的不斷蓬勃發展也獲得了國際業界的矚目和承認。