圖解分佈式架構的演進

　　參考：https://www.cnblogs.com/my376908915/p/6813321.html

1、什麼是分佈式架構

　　分佈式系統（distributed system） 是創建在網絡之上的軟件系統。

　　內聚性：是指每個數據庫分佈節點高度自治，有本地的數據庫管理系統。

　　透明性：是指每個數據庫分佈節點對用戶的應用來講都是透明的，看不出是本地仍是遠程。

　　

　　在分佈式數據系統中，用戶感受不數據是分佈的，即用戶不須知道關係是否分割，有無副本，數據存在於那個站點以及事物在哪一個站點上執行。

　　簡單來講：在一個分佈式系統中，一組獨立的計算機展示給用戶的是一個統一的總體，就好像是一個系統似的。

　　

分佈式系統做爲一個總體對用戶提供服務，而整個系統的內部的協做對用戶來講是透明的，用戶就像是指使用一個mysql 同樣。

如：分佈式mysql中間件 mycat ,來處理大併發大數據量的構架。

 

2、分佈式架構的應用

　　一、分佈式文件系統

　　　　例如：出名的有 Hadoop 的 HDFS, 還有 google的 GFS , 淘寶的 TFS 等

　　二、分佈式緩存系統

　　　　例如：memcache , hbase, mongdb 等

　　三、分佈式數據庫

　　　　例如：mysql, mariadb, postgreSql 等

　　四、分佈式webService

　　五、分佈式計算

　　舉例

　　　　以分佈式mysql 數據庫中間件mycat 爲例　　　　

　　　　MySQL 在如今電商以及互聯網公司的應用很是多，一個是由於他的免費開源，另一個緣由是由於分佈式系統的水平可擴展性，隨着移動互聯網用戶的暴增，互聯網公司，像淘寶，天貓，惟品會等

　　　　電商都採用分佈式系統應對用戶的高併發量以及大數據量的存儲。而在Mycat的商業案例中，有對中國移動的帳單結算項目中，應用實時處理高峯期天天2億的數據量，在對物聯網的項目中，實現處理

　　　　高達26億的數據量，並提供實時查詢的接口。

　　　　經過對MyCat的學習，加深分佈式系統架構的理解，以及分佈式相關的技術，分佈式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

　　　　1> 集羣 與 分佈式

　　　　2> 負載均衡

　　　　3> 分佈式相關的高可用、容災等名詞解釋

　　　　4> Mycat 中間件學習

3、資源推薦

　　一、大型分佈式網站架構設計與實踐　　 http://item.jd.com/11529266.html

　　二、大型網站技術架構：核心原理與案例分析 　　http://item.jd.com/11322972.html

　　三、大型網站系統與Java中間件實踐　　 http://item.jd.com/11449803.html

　　四、分佈式Java應用：基礎與實踐　　 http://item.jd.com/10144196.html

4、分佈式架構的演進

　　（1）初始階段架構 

　　

　　特徵：應用程序，數據庫，文件等全部資源都放在一臺服務器上。

 

　　（2）應用服務 和 數據服務 以及 文件服務 分離

 　　

　　說明：好景不長，發現隨着系統訪問量的再度增長，webserver機器的壓力在高峯期會上升到比較高，這個時候開始考慮增長一臺webserver。

　　特徵：應用程序、數據庫、文件分別部署在獨立的資源上。

 

　　（3）使用緩存改善性能

　　

　　說明：系統訪問特色遵循二八定律，即80%的業務訪問集中在20%的數據上。

　　　　　緩存分爲 本地緩存 和 遠程分佈式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的狀況。

　　特徵：數據庫中訪問較集中的一小部分數據存儲在緩存服務器中，減小數據庫的訪問次數，下降數據庫的訪問壓力。

　　（4）使用「應用服務器」集羣
　　　　

　　　　說明：在作完分庫分表這些工做後，數據庫上的壓力已經降到比較低了，又開始過着天天看着訪問量暴增的幸福生活了。

　　　　　　　忽然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看數據庫，壓力一切正常，以後查看webserver，發現apache阻塞了不少的請求，

　　　　　　   而應用服務器對每一個請求也是比較快的，看來是請求數過高致使須要排隊等待，響應速度變慢。

　　　　特徵：多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

　　　　描述：使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，提高系統的併發處理能力，使得服務器的負載壓力再也不成爲整個系統的瓶頸。

　　

　　（5）數據庫讀寫分離

 　　　　

　　　　　說明：享受了一段時間的系統訪問量高速增加的幸福後，發現系統又開始變慢了，此次又是什麼情況呢，

　　　　　　　　通過查找，發現數據庫寫入、更新的這些操做的部分數據庫鏈接的資源競爭很是激烈，致使了系統變慢

　　　　　特徵：多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

　　　　　描述：使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，使得服務器的負載壓力不在成爲整個系統的瓶頸。

 

　　（6）反向代理和CDN加速　

　　　　　

　　　　特徵：採用CDN和反向代理加快系統的訪問速度。

　　　　描述：爲了應付複雜的網絡環境和不一樣地區用戶的訪問，經過CDN和反向代理加快用戶訪問的速度，同時減輕後端服務器的負載壓力。CDN與反向代理的基本原理都是緩存。

 

　　（7）「分佈式文件」系統 和 「分佈式數據庫」

　　　　　　

　　　　說明：隨着系統的不斷運行，數據量開始大幅度增加，這個時候發現分庫後查詢仍然會有些慢，因而按照分庫的思想開始作分表的工做

　　　　特徵：數據庫採用分佈式數據庫，文件系統採用分佈式文件系統。

　　　　描述：任何強大的單一服務器都知足不了大型系統持續增加的業務需求，數據庫讀寫分離隨着業務的發展最終也將沒法知足需求，須要使用分佈式數據庫及分佈式文件系統來支撐。
　　　　　　   分佈式數據庫是系統數據庫拆分的最後方法，只有在單表數據規模很是龐大的時候才使用，更經常使用的數據庫拆分手段是業務分庫，將不一樣的業務數據庫部署在不一樣的物理服務器上。

 

　　（8）使用NoSQL和搜索引擎 　　　　

　　　　　

　　　　特徵：系統引入NoSQL數據庫及搜索引擎。

　　　　描述：隨着業務愈來愈複雜，對數據存儲和檢索的需求也愈來愈複雜，系統須要採用一些非關係型數據庫如NoSQL和分數據庫查詢技術如搜索引擎。

　　　　　　   應用服務器經過統一數據訪問模塊訪問各類數據，減輕應用程序管理諸多數據源的麻煩。

 　　（9）業務拆分

 　　　　

　　　　特徵：系統上按照業務進行拆分改造，應用服務器按照業務區分進行分別部署。

　　　　描述：爲了應對日益複雜的業務場景，一般使用分而治之的手段將整個系統業務分紅不一樣的產品線，應用之間經過超連接創建關係，也能夠經過消息隊列進行數據分發，

　　　　　　　　固然更多的仍是經過訪問同一個數據存儲系統來構成一個關聯的完整系統。

　　　　縱向拆分：將一個大應用拆分爲多個小應用，若是新業務較爲獨立，那麼就直接將其設計部署爲一個獨立的Web應用系統 縱向拆分相對較爲簡單，經過梳理業務，將較少相關的業務剝離便可。

　　　　橫向拆分：將複用的業務拆分出來，獨立部署爲分佈式服務，新增業務只須要調用這些分佈式服務 橫向拆分須要識別可複用的業務，設計服務接口，規範服務依賴關係。

 

 　　（10）分佈式服務

 　　　　

　　　　特徵：公共的應用模塊被提取出來，部署在分佈式服務器上供應用服務器調用。

　　　　描述：隨着業務越拆越小，應用系統總體複雜程度呈指數級上升，因爲全部應用要和全部數據庫系統鏈接，最終致使數據庫鏈接資源不足，拒絕服務。

 

5、分佈式服務應用會面臨哪些問題？

　　(1) 當服務愈來愈多時，服務URL配置管理變得很是困難，F5硬件負載均衡器的單點壓力也愈來愈大。
　　(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪一個應用要在哪一個應用以前啓動，架構師都不能完整的描述應用的架構關係。
　　(3) 接着，服務的調用量愈來愈大，服務的容量問題就暴露出來，這個服務須要多少機器支撐？何時該加機器？
　　(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？ 
　　(5) 一個服務有多個業務消費者，如何確保服務質量？
　　(6) 隨着服務的不停升級，總有些意想不到的事發生，好比cache寫錯了致使內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否能夠功能降級？或者資源劣化？ 

 

參考資料：

　　億級Web系統搭建——單機到分佈式集羣：http://kb.cnblogs.com/page/509402/

　　網站架構 http://www.cnblogs.com/itfly8/tag/%E7%BD%91%E7%AB%99%E6%9E%B6%E6%9E%84/#undefined