大型分佈式架構的演進與SOA的不解情緣

1、什麼是分佈式架構

分佈式系統（distributed system） 是創建在網絡之上的軟件系統。

1. 內聚性：是指每個數據庫分佈節點高度自治，有本地的數據庫管理系統。
2. 透明性：是指每個數據庫分佈節點對用戶的應用來講都是透明的，看不出是本地仍是遠程。

在分佈式數據系統中，用戶感受不數據是分佈的，即用戶不須知道關係是否分割，有無副本，數據存在於那個站點以及事物在哪一個站點上執行。

簡單來講：在一個分佈式系統中，一組獨立的計算機展示給用戶的是一個統一的總體，就好像是一個系統似的。

分佈式系統做爲一個總體對用戶提供服務，而整個系統的內部的協做對用戶來講是透明的，用戶就像是指使用一個mysql 同樣。

如：分佈式mysql中間件 mycat ,來處理大併發大數據量的構架。

2、分佈式架構的應用

1. 分佈式文件系統

例如：出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等

2. 分佈式緩存系統

例如：memcache , hbase, mongdb 等

3. 分佈式數據庫

例如：mysql, mariadb, postgreSql 等

4. 分佈式webService

5. 分佈式計算

舉例

以分佈式mysql 數據庫中間件mycat 爲例　　　　

MySQL 在如今電商以及互聯網公司的應用很是多，一個是由於他的免費開源，另一個緣由是由於分佈式系統的水平可擴展性，隨着移動互聯網用戶的暴增，互聯網公司，像淘寶，天貓，惟品會等電商都採用分佈式系統應對用戶的高併發量以及大數據量的存儲。而在Mycat的商業案例中，有對中國移動的帳單結算項目中，應用實時處理高峯期天天2億的數據量，在對物聯網的項目中，實現處理高達26億的數據量，並提供實時查詢的接口。

經過對MyCat的學習，加深分佈式系統架構的理解，以及分佈式相關的技術，分佈式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

1> 集羣 與 分佈式

2> 負載均衡

3> 分佈式相關的高可用、容災等名詞解釋

4> Mycat 中間件學習

3、分佈式架構的演進

（1）初始階段架構

特徵：應用程序，數據庫，文件等全部資源都放在一臺服務器上。

（2）應用服務 和 數據服務 以及 文件服務 分離

說明：好景不長，發現隨着系統訪問量的再度增長，webserver機器的壓力在高峯期會上升到比較高，這個時候開始考慮增長一臺webserver。

特徵：應用程序、數據庫、文件分別部署在獨立的資源上。

（3）使用緩存改善性能

說明：系統訪問特色遵循二八定律，即80%的業務訪問集中在20%的數據上。

緩存分爲 本地緩存 和 遠程分佈式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的狀況。

特徵：數據庫中訪問較集中的一小部分數據存儲在緩存服務器中，減小數據庫的訪問次數，下降數據庫的訪問壓力。

（4）使用「應用服務器」集羣

說明：在作完分庫分表這些工做後，數據庫上的壓力已經降到比較低了，又開始過着天天看着訪問量暴增的幸福生活了。　　　　

忽然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看數據庫，壓力一切正常，以後查看webserver，發現apache阻塞了不少的請求，而應用服務器對每一個請求也是比較快的，看來是請求數過高致使須要排隊等待，響應速度變慢。　　

特徵：多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。
描述：使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，提高系統的併發處理能力，使得服務器的負載壓力再也不成爲整個系統的瓶頸。

（5）數據庫讀寫分離

說明：享受了一段時間的系統訪問量高速增加的幸福後，發現系統又開始變慢了，此次又是什麼情況呢，通過查找，發現數據庫寫入、更新的這些操做的部分數據庫鏈接的資源競爭很是激烈，致使了系統變慢。

特徵：多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。
描述：使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，使得服務器的負載壓力不在成爲整個系統的瓶頸。

（6）反向代理和CDN加速　

特徵：採用CDN和反向代理加快系統的訪問速度。
描述：爲了應付複雜的網絡環境和不一樣地區用戶的訪問，經過CDN和反向代理加快用戶訪問的速度，同時減輕後端服務器的負載壓力。CDN與反向代理的基本原理都是緩存。

（7）「分佈式文件」系統 和 「分佈式數據庫」

說明：隨着系統的不斷運行，數據量開始大幅度增加，這個時候發現分庫後查詢仍然會有些慢，因而按照分庫的思想開始作分表的工做
特徵：數據庫採用分佈式數據庫，文件系統採用分佈式文件系統。
描述：任何強大的單一服務器都知足不了大型系統持續增加的業務需求，數據庫讀寫分離隨着業務的發展最終也將沒法知足需求，須要使用分佈式數據庫及分佈式文件系統來支撐。

分佈式數據庫是系統數據庫拆分的最後方法，只有在單表數據規模很是龐大的時候才使用，更經常使用的數據庫拆分手段是業務分庫，將不一樣的業務數據庫部署在不一樣的物理服務器上。

（8）使用NoSQL和搜索引擎 　

　　　
特徵：系統引入NoSQL數據庫及搜索引擎。
描述：隨着業務愈來愈複雜，對數據存儲和檢索的需求也愈來愈複雜，系統須要採用一些非關係型數據庫如NoSQL和分數據庫查詢技術如搜索引擎。　　　　

應用服務器經過統一數據訪問模塊訪問各類數據，減輕應用程序管理諸多數據源的麻煩。

（9）業務拆分

特徵：系統上按照業務進行拆分改造，應用服務器按照業務區分進行分別部署。　　

描述：爲了應對日益複雜的業務場景，一般使用分而治之的手段將整個系統業務分紅不一樣的產品線，應用之間經過超連接創建關係，也能夠經過消息隊列進行數據分發，固然更多的仍是經過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分：將一個大應用拆分爲多個小應用，若是新業務較爲獨立，那麼就直接將其設計部署爲一個獨立的Web應用系統 縱向拆分相對較爲簡單，經過梳理業務，將較少相關的業務剝離便可。
橫向拆分：將複用的業務拆分出來，獨立部署爲分佈式服務，新增業務只須要調用這些分佈式服務 橫向拆分須要識別可複用的業務，設計服務接口，規範服務依賴關係。

（10）分佈式服務

特徵：公共的應用模塊被提取出來，部署在分佈式服務器上供應用服務器調用。
描述：隨着業務越拆越小，應用系統總體複雜程度呈指數級上升，因爲全部應用要和全部數據庫系統鏈接，最終致使數據庫鏈接資源不足，拒絕服務。

在此我向你們推薦一個架構學習交流羣。交流學習羣號：575745314 裏面會分享一些資深架構師錄製的視頻錄像：有Spring，MyBatis，Netty源碼分析，高併發、高性能、分佈式、微服務架構的原理，JVM性能優化、分佈式架構等這些成爲架構師必備的知識體系。還能領取免費的學習資源，目前受益良多

4、分佈式服務應用會面臨哪些問題？

(1) 當服務愈來愈多時，服務URL配置管理變得很是困難，F5硬件負載均衡器的單點壓力也愈來愈大。
(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪一個應用要在哪一個應用以前啓動，架構師都不能完整的描述應用的架構關係。
(3) 接着，服務的調用量愈來愈大，服務的容量問題就暴露出來，這個服務須要多少機器支撐？何時該加機器？
(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？
(5) 一個服務有多個業務消費者，如何確保服務質量？
(6) 隨着服務的不停升級，總有些意想不到的事發生，好比cache寫錯了致使內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否能夠功能降級？或者資源劣化？

5、分佈式系統

分佈式系統是一個硬件或軟件組件分佈在不一樣的網絡計算機上，彼此之間僅僅經過消息傳遞和協調的系統。

簡單來講，就是一羣獨立計算機集合共同對外提供服務，可是對於系統用戶來講，就像是一臺計算機在提供服務同樣。分佈式意味着能夠採用更多的普通計算機組成分佈式集羣對外提供服務，計算機越多，CPU、內存、存儲資源等也就越多，可以處理的併發訪問量也就越大。

傳統架構→分佈式

起初，系統之間僅僅是把表現層、業務層、持久層分離開，能夠實現解耦合，可是這是在同一臺服務器上運行整個系統，客戶端能夠有多個，他們都將訪問同一個終端處理器。可是這種單機部署極可能帶來這些問題：系統難以維護、發生單點故障、擴展性差等問題。

當咱們單機性能達到瓶頸的時候，第一，可使用更高級的硬件來提高性能。隨之成本也會愈來愈高。對於一些中小企業根本沒法承受。第二，咱們能夠採用分佈式，水平擴展，相對來講，仍是比較划算的。

舉個例子：

當咱們用一臺單機的tomcat部署時，理想狀況下能夠實現500的併發。當咱們有1000個併發量的時候，須要2臺tomcat服務器，這時就成了這樣的結構：

這時出現了問題：

一、tomcat的性能瓶頸：當很大很大的併發量的時候，固然須要不少臺tomcat服務器，但隨着tomcat服務器的量愈來愈大，服務器的能力會先增長，後降低。通常5臺就差很少了到量了。

二、tomcat之間的數據同步問題。tomcat之間會互發消息，當其中一臺改變了數據，會給其餘tomcat發消息，其餘tomcat也會作相應的更新同步。但這會出現一個問題，當tomcat量多的時候，發送消息也多，會出現消息風暴，擾亂整個系統的同步。

解決方案：

既然，一整個系統沒法用tomcat來平衡數據量，可是咱們能夠把整個系統拆分紅多個業務，把每一個業務當成一個子系統便可。這是垂直拆分。（分佈式）而咱們把各個業務都部署上多臺服務器來均衡這些數據量，每臺服務器承擔一部分的用戶訪問量，每臺上的系統是同樣的。這是水平擴展。（集羣）

結論：分佈式架構就是多個子系統互相協做才能完成整個業務流程，系統之間須要進行通訊。集羣就是同一個工程部署到多臺服務器上。

分佈式架構的優勢：

一、解耦合、系統之間用接口通訊。

二、項目拆分，不一樣的團隊負責不一樣的子項目

三、利於擴展，增長功能，只需增長子項目，調用其餘系統接口就行了。

四、能夠靈活的進行分佈式部署。

缺點：

一、系統之間交互須要遠程通訊，接口發開增長工做量

二、各模塊有一些通用業務邏輯沒法公用。

6、分佈式架構→soa架構

SOA:（Service Oriented Architecture） 面向服務的架構。把工程拆分紅服務層、表現層兩個工程，服務層中包含業務邏輯，只須要對外提供服務便可。表現層只需處理和頁面的交互，業務邏輯都是調用服務層的服務來實現。

SOA是一個組件模型，它將應用程序的不一樣功能單元（成爲服務），經過這些服務之間定義良好的接口和契約聯繫起來。接口是採用中立的方式進行定義的，他應該獨立於實現服務的硬件平臺、操做系統、和變成語言。這是的構建在各類各樣的系統中的服務能夠從一種統一和通用的方式進行交互。

SOA是把服務分紅了若干，表現層分紅了若干。表現層和服務層沒有耦合關係，表現層能夠用任意一個服務層，開發的時候，僅僅是增長服務層和Web層2個工程，並不會把服務層和Web層當成一個整個工程。他們是獨立的。而分佈式架構是Web和服務層牢牢聯繫到了一塊兒，一個web層對應一個服務層。因此SOA比分佈式架構更加解耦合。擴展也更容易。

在此我向你們推薦一個架構學習交流羣。交流學習羣號：575745314 裏面會分享一些資深架構師錄製的視頻錄像：有Spring，MyBatis，Netty源碼分析，高併發、高性能、分佈式、微服務架構的原理，JVM性能優化、分佈式架構等這些成爲架構師必備的知識體系。還能領取免費的學習資源，目前受益良多

SOA的特徵：

一、可重用。解決了分佈式的缺點。不一樣的web層能夠共用一個服務層。

二、鬆耦合。服務請求者到服務提供者的綁定與服務之間是鬆耦合的，服務請求者不須要知道服務提供者實現的技術細節。

三、明肯定義的接口。

四、無狀態的服務設計。服務不該該依賴其餘服務的上下文和狀態。當產生依賴時，他們能夠定義成通用的業務流程，函數和數據模型。

五、基於開放標準。

SOA體系結構中的角色包括：

一、服務請求者

是一個應用程序、一個軟件模塊、另外一個服務。他發起對註冊中心的服務的查詢，經過傳輸綁定服務、而且執行服務功能，服務請求者根據接口契約來執行服務。

二、服務提供者

是一個可經過網絡尋址的實體，他接受和執行來自請求者的請求，他將本身的服務和接口契約發佈到服務註冊中心。

三、服務註冊中心

是服務發現的支持者，他包含一個可用服務的存儲庫，並運行感興趣的服務請求者查詢服務提供者接口。

小結：

最新的發展潮流已經來臨，基於容器，雲原生的應用，這些自動化的設計將顛覆程序猿的世界，在瞭解架構發展的同時，也要緊跟時代潮流。