從概念到底層技術，一文看懂區塊鏈架構設計

前言 區塊鏈做爲一種架構設計的實現，與基礎語言或平臺等差異較大。區塊鏈是加密貨幣背後的技術，是當下與VR虛擬現實等比肩的熱門技術之一，自己不是新技術，相似Ajax，能夠說它是一種技術架構，因此咱們從架構設計的角度談談區塊鏈的技術實現。 不管你擅長什麼編程語言，都可以參考這種設計去實現一款區塊鏈產品。與此同時，梳理與之相關的知識圖譜和體系，幫助你們系統的去學習研究。 基本概念 區塊鏈的概念最近很火，它來自於比特幣等加密貨幣的實現，可是目前，這項技術已經逐步運用在各個領域。什麼是區塊鏈技術？爲了感性認識這個問題，咱們可使用谷歌地球的例子作類比，ajax不是什麼新技術，但組合在一塊兒就成就了產品谷歌地球，與之相似，區塊鏈也不是什麼新技術，但與加密解密技術、P2P網絡等組合在一塊兒，就誕生了比特幣。技術人員，特別是Web開發工程師，學習瞭解ajax技術最先是被谷歌地球酷炫的效果所吸引。而如今，歷史再一次重演，不少人被比特幣的瘋狂發展所吸引，進而開始研究其背後的技術——區塊鏈。 區塊鏈本來是比特幣等加密貨幣存儲數據的一種獨特方式，是一種自引用的數據結構，用來存儲大量交易信息，每條記錄從後向前有序連接起來，具有公開透明、沒法篡改、方便追溯的特色。實際上，這種特性也直接體現了整個比特幣的特色，所以使用區塊鏈來歸納加密貨幣背後的技術實現是很是直觀和恰當的。區塊鏈是一項技術，加密貨幣是其開發實現的一類產品（含有代幣，也有不含代幣的區塊鏈產品），不能等同或混淆。與加密貨幣相比，區塊鏈這個名字拋開了代幣的概念，更加形象化、技術化、去政治化，更適合做爲一門技術去研究、去推廣。 因此，目前當你們單獨說到區塊鏈的時候，就是指的區塊鏈技術，是實現了數據公開、透明、可追溯的產品的架構設計方法，算做廣義的區塊鏈。而當在具體產品中談到區塊鏈的時候，能夠指相似比特幣的數據存儲方式，或許是數據庫設計，或許是文件形式的設計，這算做狹義的區塊鏈。廣義的區塊鏈技術，必須包含點對點網絡設計、加密技術應用、分佈式算法的實現、數據存儲技術的使用等4個方面，其餘的可能涉及到分佈式存儲、機器學習、VR、物聯網、大數據等。狹義的區塊鏈僅僅涉及到數據存儲技術，數據庫或文件操做等。本文的區塊鏈，指的是廣義的區塊鏈。 架構圖 從架構設計上來講，區塊鏈能夠簡單的分爲三個層次，協議層、擴展層和應用層。其中，協議層又能夠分爲存儲層和網絡層，它們相互獨立但又不可分割。如圖： 協議層 所謂的協議層，就是指代最底層的技術。這個層次一般是一個完整的區塊鏈產品，相似於咱們電腦的操做系統，它維護着網絡節點，僅提供Api供調用。一般官方會提供簡單的客戶端（通稱爲錢包），這個客戶端錢包功能也很簡單，只能創建地址、驗證簽名、轉帳支付、查看餘額等。這個層次是一切的基礎，構建了網絡環境、搭建了交易通道、制定了節點獎勵規則，至於你要交易什麼，想幹什麼，它一律不過問，也過問不了。典型的例子，天然是比特幣，還有各類二代幣，好比萊特幣等，本書介紹的億書幣也是。這個層次，是現階段開發者彙集的地方，這說明加密貨幣仍在起步當中。 從用到的技術來講，協議層主要包括網絡編程、分佈式算法、加密簽名、數據存儲技術等4個方面，其中網絡編程能力是你們選擇編程語言的主要考慮因素，由於分佈式算法基本上屬於業務邏輯上的實現，什麼語言均可以作到，加密簽名技術是直接簡單的使用（請看書中相關的加密解密文章，不建議自由發揮，沒有過多的編碼邏輯），數據庫技術也主要在使用層面，只有點對點網絡的實現和併發處理纔是開發的難點，因此對於那些網絡編程能力強，對併發處理簡單的語言，人們就特別偏心。也所以，Nodejs開發區塊鏈應用，逐漸變得更加流行，Go語言也在逐漸興起。 上面的架構設計圖裏，我把這個層面進一步分紅了存儲層和網絡層。數據存儲能夠相對獨立，選擇自由度大一些，能夠單獨來討論。選擇的原則無非是性能和易用性。咱們知道，系統的總體性能，主要取決於網絡或數據存儲的I/O性能，網絡I/O優化空間不大，可是本地數據存儲的I/O是能夠優化的。好比，比特幣選擇的是谷歌的LevelDB，聽說這個數據庫讀寫性能很好，可是不少功能須要開發者本身實現。目前，困擾業界的一個重大問題是，加密貨幣交易處理量遠不如如今中心化的支付系統（銀行等），除了I/O，須要全方位的突破。 分佈式算法、加密簽名等都要在實現點對點網絡的過程當中加以使用，因此天然是網絡層的事情，也是編碼的重點和難點，《Nodejs開發加密貨幣》全書分享的基本上就是這部分的內容。固然，也有把點對點網絡的實現單獨分開的，把節點查找、數據傳輸和驗證等邏輯獨立出來，而把共識算法、加密簽名、數據存儲等操做放在一塊兒組成核心層。不管怎麼組合，這兩個部分都是最核心、最底層的部分，都是協議層的內容。 擴展層 這個層面相似於電腦的驅動程序，是爲了讓區塊鏈產品更加實用。目前有兩類，一是各種交易市場，是法幣兌換加密貨幣的重要渠道，實現簡單，來錢快，成本低，但風險也大。二是針對某個方向的擴展實現，好比基於億書側鏈，可爲第三方出版機構、論壇網站等內容生產商提供定製服務等。特別值得一提的就是你們聽得最多的「智能合約」的概念，這是典型的擴展層面的應用開發。所謂「智能合約」就是「可編程合約」，或者叫作「合約智能化」，其中的「智能」是執行上的智能，也就是說達到某個條件，合約自動執行，好比自動轉移證券、自動付款等，目前尚未比較成型的產品，但不能否認，這將是區塊鏈技術重要的發展方向。 擴展層使用的技術就沒有什麼限制了，能夠包括不少，上面提到的分佈式存儲、機器學習、VR、物聯網、大數據等等，均可以使用。編程語言的選擇上，能夠更加自由，由於能夠與協議層徹底分離，編程語言也能夠與協議層使用的開發語言不相同。在開發上，除了在交易時與協議層進行交互以外，其餘時候儘可能不要與協議層的開發混在一塊兒。這個層面與應用層更加接近，也能夠理解爲B/S架構的產品中的服務端（Server）。這樣不只在架構設計上更加科學，讓區塊鏈數據更小，網絡更獨立，同時也能夠保證擴展層開發不受約束。 從這個層面來看，區塊鏈能夠架構開發任何類型的產品，不只僅是用在金融行業。在將來，隨着底層協議的更加完善，任何須要第三方支付的產品均可以方便的使用區塊鏈技術；任何須要確權、徵信和追溯的信息，均可以藉助區塊鏈來實現。我我的以爲，這個目標應該很快就能實現。 應用層 這個層面相似於電腦中的各類軟件程序，是普通人能夠真正直接使用的產品，也能夠理解爲B/S架構的產品中的瀏覽器端（Browser）。這個層面的應用，目前幾乎是空白。市場亟待出現這樣的應用，引爆市場，造成真正的擴張之勢，讓區塊鏈技術快速走進尋常百姓，服務於大衆。你們使用的各種輕錢包（客戶端），應該算做應用層最簡單、最典型的應用。很快，億書將基於億書網絡推出文檔協做工具，這個就是典型的應用層的產品。 限於當前區塊鏈技術的發展，億書只能從協議層出發，把目標指向應用層，同時爲第三方開發者提供擴展層的強大支持。這樣作既能夠避免貪多，又能夠避免沒法落地，是真正理性的開發路線。由於純粹的開發協議層或擴展層，沒法真正理解和驗證應用層，會脫離實際，讓第三方開發者很難使用。若是僅僅考慮應用層，市面上又找不到真正牢固、易用的協議層或擴展層的產品。因此，咱們只好全面發力，採起徹底開源開放的態度，經過社區的力量，共同去作一件有意義的事情，也算爲中國區塊鏈技術發展作點技術積累和微薄貢獻。 編程實現 不少小夥伴，習慣結合本身的技術背景，來理解上面的架構設計。這裏，結合具體的編程語言，簡單介紹幾款產品，僅供參考。 （1）C/C++ 這兩個語言是沒法逾越的，任何開發遇到瓶頸，基本上都會找到它們，天然應該排在第一位要介紹的。同時，區塊鏈技術的鼻祖，比特幣（協議層）就是用C++語言開發的，並且目前爲止，沒有比比特幣更加成功的區塊鏈產品。因此，不管你使用什麼語言開發，在正式進入這個行業的過程當中，都應該先研究研究比特幣。比特幣官方客戶端錢包用的Qt，第三方錢包有Python語言開發的，特別是第三方整理的開發庫（Api包）不少是Nodejs設計的。比特幣的架構，與上面的架構設計基本相同，另外，由於共識算法採用的是工做量證實機制（PoW:Proof of work)，還有一些特殊的挖礦的過程。其餘競爭幣都是直接來自比特幣的分支，因此編程語言相同，具體的技術選型和技術實現上可能有所改進，好比：萊特幣，使用了其餘的加密算法。 官方網站：https://bitcoin.org/ 源碼庫：https://github.com/bitcoin （2）Nodejs/Javascript Nodejs平臺強大的網絡編程能力，以及js腳本語言的簡單快捷，在區塊鏈領域天然少不了它的身影。億書即是這樣一個區塊鏈產品，億書幣是它的協議層，使用了著名的express開發框架，基於http協議開發而成。同時，它採用了受權股權證實機制（DPoS），算法上的改進，讓它在處理交易時更加輕量，處理能力大大提高。它提供了強大的協做機制，爲數字出版、版權保護提供了便利；擴展了側鏈功能，能夠基於它開發任何去中心化的應用，從而爲專業做者、博客愛好者和開發者提供不少方便。《Nodejs開發加密貨幣》這本書完整分享了它的源碼，從區塊鏈基礎概念到代碼實現，從基本原理到開發設計思路，都作了比較詳細的探索，目前爲止，從協議層面深刻代碼講解區塊鏈技術實現的書籍極少，這算做一本。 官方網站：http://ebookchain.org/ 源碼庫：https://github.com/Ebookcoin （3）Python 若是是Python語言愛好者，我建議研究研究以太坊（Ethereum）的Python實現。儘管由於The Dao事件鬧得沸沸揚揚，但從技術實現的角度來講，仍然值得參考學習。以太坊官方定位爲一種開發管理分佈式應用的平臺，主攻方向就是「智能合約」，併爲其定製了一種編程語言Solidity。以太坊的核心是以太坊虛擬機（EVM），容許用戶按照本身的意願建立操做。以太坊給出了Go、Java、Python等多語言的實現。其中以python爲基礎的實現主要包括三個部分：Pyethapp是客戶端部分；pyethereum是核心庫，實現了區塊鏈、以太坊模擬機和挖礦等功能；pydevp2p是點對點網絡庫，實現了節點發現、合約代碼傳輸、加密簽名等功能，這三者組合在一塊兒就是完整的區塊鏈實現，後面兩個核心庫共同組成了協議層。另外，go-ethereum是go語言的完整實現；Ethereum(J) 是純Java實現，它做爲能夠嵌入任何Java/Scala項目的庫提供。客戶端方面，還有Rust、Ruby、Javascript等語言的實現。 官方網站：https://ethereum.org/ 源碼庫：https://github.com/ethereum/pyethapp （4）Go 在多核時代，Go語言備受喜好，它可讓你用同步方式輕鬆實現高併發，特別是在分佈式系統、網絡編程等領域，應用很是廣。因此，在區塊鏈開發領域，也有不少使用Go語言的項目。其中，由linux基金會主導的超級帳本（HyperLeger），版本庫的名字叫Fabric，就是其中一個。該項目試圖爲新一代的事務應用建立一種開放的分佈式帳本標準，支持許可式區塊鏈（這種方式可能沒法再現比特幣那種強大的網絡效應）。Fabric的開發環境創建在VirtualBox虛擬機上，部署環境能夠自建網絡，也能夠直接部署在BlueMix上，部署方式可docker化，支持用Go和JavaScript開發智能合約。它採用PBFT分佈式算法，網絡編程方面用gRPC來作P2P通信，使用 Protocol Buffer來序列化要傳遞的數據結構。在架構設計上，Fabric可能與比特幣等區塊鏈產品有所不一樣，可是上述基本組成部分仍是不可或缺的。 官方網站：https://www.hyperledger.org/ 源碼庫：https://github.com/hyperledger 其餘編程語言，好比：C#等，也有具體實例，這裏就再也不列舉。總之，針對不一樣的編程語言，在具體的編碼或架構設計上可能有所差異，甚至很大，可是協議層所使用的技術並無太大的變化。其中，網絡編程是重點和難點，多數沒有現成的框架可用，都是使用編程語言自身提供的庫來設計開發，因此比較底層，很是考驗開發者的編碼功底。 知識圖譜 循着上面的分析，咱們已經能夠了解區塊鏈是什麼，並知道怎麼實現了，順便梳理一下其中的編程技術知識，天然也就清晰多了。 根據我的的理解，我把與區塊鏈相關的知識分爲下面5個方面： （1）基礎知識 區塊鏈是新技術，與之相關的是其背後大量的新概念、新理論。這些知識，雖然不直接體如今編碼裏，但倒是理解區塊鏈，掌握區塊鏈技術的基本知識。因此，理當成爲區塊鏈技術不可或缺的一部分。這部分從基本概念入手，到工做原理的描述，就可以把區塊鏈基礎知識所有覆蓋。 （2）技術實現 區塊鏈是一項技術，但從上面的分析能夠看出，它應該是一種架構應用，架構的實現理當是咱們知識庫的核心。正如你們看到的，任何一款區塊鏈產品，協議層必須包括點對點網絡、加密簽名、數據存儲、分佈式算法等4個部分，應用層也必然要提供錢包、客戶端瀏覽器等基礎應用。因此，把這部分獨立出來，也是合情合理。 在擴展層的部分，區塊鏈技術能夠對接各類應用，好比：金融、物聯網、網絡安全、版權保護、電子商務等等，現有的不少技術均可以用在這裏。只不過，如何與區塊鏈結合，如何實現跨行業使用，天然是這部份內容研究的課題。因此，這裏所羅列或涉及到的技術，理應歸爲技術實現的一個重要部分。 （3）開發環境 區塊鏈是多項技術的組合，有其自身的複雜性，個別應用對開發環境依賴較大，開發工具與環境搭建，是讓開發者快速上手的重要內容。 （4）項目實踐 聽說，短短數年，全球區塊鏈產品已經有幾千個，其中不乏創新應用。有些優秀的開源產品和項目實踐，是最好的學習研究資料。 （5）開發文檔 這個天然不用說了，每一種產品也都會有本身的開發文檔。另外一個，就是有心的開發者整理彙總的一些資源，能夠幫助咱們節省不少查詢的時間。 我在考慮這個知識體系的過程當中，主要思考的是，讀者循着這些標籤去查閱文章，可否快速掌握區塊鏈技術，並最終上手開發實現一個區塊鏈產品。另外，也刻意規避了與具體編程語言，以及特定領域相關的詞彙，惟一能夠區分的就是這些節點之下對應的文章標籤。因此，這些分類就顯得很是中性。也考慮過使用比特幣、競爭幣、智能合約、數字資產、智能資產等具體領域的實現做爲分類方法，但又怕限制了讀者的思惟，同時隨着區塊鏈的發展，這個圖譜將不停的修改下去。這裏，呼籲一下，但願讀到這篇文章的小夥伴提供您的寶貴意見，讓咱們把這個關於區塊鏈的知識分類圖譜作得更加科學合理，使用更加方便。 總結 這篇文章，咱們把區塊鏈技術基礎架構描述了一下，須要再次強調的是，這僅僅是一種實現方式，絕非全部的區塊鏈產品都是如此，咱們也期待更多創新出現，也相信必定會出現。編程實現羅列了幾種編程語言與其實現的典型產品，由於協議層技術較爲底層，並無太多現成的框架須要介紹或討論，同時，具體的技術細節，也絕非幾行字可以羅列清楚，所幸，這些產品都是開源產品，你們能夠結合本身的技術背景，進一步查看對應的產品源碼，很快就能瞭解其中的奧妙。