區塊鏈已經從社會的邊緣產品,變得被愈來愈多的人所熟悉和接受,並逐漸成爲一種新趨勢和將來。在這個過程當中,區塊鏈技術也取得了突飛猛進的發展,智能合約、共識機制、分片以及跨鏈等新概念,正在不斷刷新着咱們的認知。算法
做爲一個在數據庫領域奮鬥10餘年的老兵來看,區塊鏈的本質實際上是一個多活的分佈式數據庫,區塊鏈中的不少技術,在數據庫的漫長演進過程當中也曾獲得不少的應用和實踐,爲了能更好的理解區塊鏈,我概述了從2000年開始這十幾年主流系統架構的演變。spring
咱們將分紅3個階段來闡述:數據庫
在這個時代中,若是想去選擇一個能夠支撐每秒幾萬筆業務的成熟數據庫方案。工程師必定會推薦Oracle。而這個時期系統的主要架構以下:性能優化
圖1 RAC架構圖微信
2001年,對Oracle公司來講是一個特殊的年份,在這一年Oracle發佈了甲骨文數據庫產品的經典版本Oracle 9i。在這個版本的產品中,Oracle極大的加強了集羣服務能力(Real Application Cluster),促使Oracle完成了在生產環境中,從一個單一主機節點向多節點的轉換的過程。網絡
RAC技術有效的解決了以往數據庫單節點運行的瓶頸,提高了數據庫系統的併發負載能力和高可用性,知足了企業發展過程當中,管理指數級數據增加的迫切需求。所以這個方案,被普遍應用到了政府、運營商、銀行、證券等各個領域,固然也包括阿里巴巴和京東等互聯網巨頭企業。架構
隨着版本的升級,Oracle 10G的集羣節點能力理論峯值擴充到了100多個。可是由於部署設備(小型機和存儲)昂貴等緣由,不可能有企業能夠完成這個量級的部署。從我所瞭解的數據來看,國內一些企業在實際的業務中,應用了6-8個節點的集羣。併發
儘管應用普遍,可是隨着國內互聯網業務的進一步發展,Oracle集羣的一些問題也逐漸暴露出來,這也促使了後來國內轟轟烈烈「去IOE」運動的產生。分佈式
第一個問題:架構所須要的軟硬件(IOE)價格昂貴微服務
在圖1的架構圖中能夠看到,爲了保證事務的一致性,Oracle採用的是在多節點間共享存儲的方式,也就是說最終的數據在磁盤上只存儲一份,數據能夠被多個節點讀寫,Oracle利用行鎖等技術解決讀寫爭用問題,並保障每一個交易請求提交或回滾的一致性。
應用層主機經過Oracle Net Services路由到不一樣的數據庫節點中,提交數據庫交易請求後,數據庫節點會定時將交易數據寫入共享的磁盤陣列中。
咱們知道IO請求在計算機請求中是很是緩慢的,這樣的架構設計,更加突出了IO讀寫的性能瓶頸。企業的應對辦法則是購買性能更好,更昂貴的磁盤陣列,提高IO性能,這也致使了IOE架構在很長一段時間內佔據着國內IT採購的主流地位。
正如上面提到的,由於受限於IO請求的性能瓶頸。各個節點的交易數據發起IO請求將數據寫入磁盤會有必定的間隔。而這個過程當中,實時交易信息則是由IPC協議在各個節點間傳輸內存數據來同步的。這時咱們須要一個高速的數據傳輸網絡,通常是由千兆網卡來完成。
可是,隨着節點的不斷越多,須要同步的交易數據就會越多,網絡爭用和行鎖爭用也會變得愈來愈嚴重,從而致使擴展節點的性能收益並不是線性加強。
隨着淘寶業務的飛速發展,2010年時,淘寶已經成爲Oracle中國的頂級的客戶了。爲了下降IT成本同時知足業務的進一步發展需求,也鑑於在開源社區長期的技術積累驅動。2010年時,由淘寶技術團隊開啓了轟轟烈烈的「去IOE」運動,目標是用分佈式的開源數據庫架構替代傳統的Oracle DB架構。淘寶「去IOE」的成功,有效的驗證了分佈式數據庫在大規模生產應用中的負載能力,這也促使後續國內IT架構選型思路的轉變,以及分佈式數據庫架構的演進。
分佈式的數據庫方案有很是多種,目前在各個互聯網公司應用的也比較廣泛,其本質就是將數據拆分存儲到不一樣的節點上,從而緩解單節點讀寫的壓力,好比按奇偶拆分數據就是一個簡單的分佈式系統,示意圖以下:
當咱們將數據拆分紅分佈式數據庫以後,就不得不考慮,分佈式帶來的三個特性之間的權衡,正如 CAP所描述的:
系統架構師須要根據業務,用各類變通的手法優化CAP的三個特性,讓系統最終體現的效果能夠與業務需求的預期一致。
目前看到的一些主流分佈式方案,對這3個特性都有不一樣程度的選擇。咱們在運營上一個創業項目OneAPM時,爲了解決處理用戶訪問軌跡而產生的海量數據的問題,曾綜合使用過Kafka、Zookeeper、Clickhouse等架構來知足業務需求,架構圖以下:
圖2 OneAPM Ai產品分佈式架構圖
從數據庫技術的角度來看,區塊鏈的本質是一個特定架構的多活分佈式數據庫。分佈式數據庫利用Paxos、RAFT等算法來保障數據庫多副本的強一致性,而區塊鏈是用共識算法來解決各個節點間數據一致性的問題。
POW、POS、DPOS等各種共識算法其本質都是在競爭將由哪一個節點擁有寫入區塊(帳本數據)的權力。在區塊鏈的經濟模型的設計中,對寫入區塊的行爲進行了經濟激勵,極大的鼓舞了區塊鏈生態的發展。
但也正是由於每一個節點都有可能擁有寫入區塊的權力,爲了保障系統數據一致性,必須與系統的響應時間之間作出權衡。因此咱們看到比特幣的TPS是每秒7比業務,以太坊的TPS也只有每秒幾十筆業務。分佈式數據庫中的CAP問題,依然是區塊鏈須要挑戰的技術難題。固然,目前隨着分片,閃電網絡等新技術的出現,交易性能的瓶頸再被不斷的優化。
此外,從產品的功能上來看,目前的區塊鏈技術主要提供的交易記帳的能力,並不能支撐數據庫的標準能力「增刪改查」,因此以功能而言,目前的區塊鏈本質是數據庫技術棧的特殊子集。在區塊鏈上,擴充對文件和數據增刪改查的能力是DAPP生態發展的關鍵能力。
縱觀數據庫系統演進的這3個時代,技術發展的浪潮沒法阻擋,咱們惟一能夠作的只有學習和麪對。正如分佈式數據庫最終替代了傳統ORACLE集羣,去中心化模型的區塊鏈技術也將迭代中心化模型的業務系統。從目前的狀況看,分片,閃電網絡等新技術的出現,交易性能瓶頸在被不斷的優化,區塊鏈技術也正在逐步的向主流IT架構演進。
注:關注做者微信公衆號,瞭解更多分佈式架構、微服務、netty、MySQL、spring、、性能優化、等知識點。
公衆號:《 Java大蝸牛 》