java 分佈式架構

什麼是分佈式架構

分佈式系統（distributed system）是創建在網絡之上的軟件系統。

內聚性是指每個數據庫分佈節點高度自治，有本地的數據庫管理系統。

透明性是指每個數據庫分佈節點對用戶的應用來講都是透明的，看不出是本地仍是遠程。

 

在分佈式數據庫系統中，用戶感受不到數據是分佈的，即用戶不須知道關係是否分割、有無副本、數據存於哪一個站點以及事務在哪一個站點上執行等。

簡單來說：在一個分佈式系統中，一組獨立的計算機展示給用戶的是一個統一的總體，就好像是一個系統似的。

分佈式系統做爲一個總體對用戶提供服務，而整個系統的內部的協做用戶來講是透明的，用戶就像是在使用一個MySQL同樣。

如分佈式MySQL中間件-Mycat，來處理大併發大數據量的構架。

分佈式架構的應用

有 分佈式文件系統，分佈式緩存系統，分佈式數據庫，分佈式WebService，分佈式計算

咱們來舉例說明：

分佈式文件系統： 出名的有 Hadoop 的HDFS ,還有 google的 GFS , 淘寶的 TFS 等

分佈式緩存系統：memcache , hbase , mongdb 等

分佈式數據庫 ： MySQL , Mariadb, PostgreSQL 等

以分佈式MySQL數據庫中間件MyCat 爲例子，

MySQL 在如今電商以及互聯網公司的應用很是多，一個是由於他的免費開源，另一個緣由是由於分佈式系統

的水平可擴展性，隨着移動互聯網用戶的暴增，互聯網公司，像淘寶，天貓，惟品會等電商都採用分佈式系統應對

用戶的高併發量以及大數據量的存儲。

而在Mycat的商業案例中，有對中國移動的帳單結算項目中，應用實時處理高峯期天天2億的數據量，

在對物聯網的項目中，實現處理高達26億的數據量，並提供實時查詢的接口。

經過對MyCat的學習，加深分佈式系統架構的理解，

以及分佈式相關的技術，分佈式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。

1> 集羣 與 分佈式

2> 負載均衡

3> 分佈式相關的高可用、容災等名詞解釋

4> Mycat 中間件學習

 

首先推薦4本書

大型分佈式網站架構設計與實踐

http://item.jd.com/11529266.html

大型網站技術架構：核心原理與案例分析

http://item.jd.com/11322972.html

大型網站系統與Java中間件實踐

http://item.jd.com/11449803.html

分佈式Java應用：基礎與實踐

http://item.jd.com/10144196.html

貌似都是4位阿里人寫的，一本一本的看吧，絕對會加強你的內功。

分佈式架構的演進

初始階段架構

初始階段 的小型系統 應用程序、數據庫、文件等全部的資源都在一臺服務器上通俗稱爲LAMP

特徵：
應用程序、數據庫、文件等全部的資源都在一臺服務器上。

 

應用服務和數據服務分離

好景不長，發現隨着系統訪問量的再度增長，webserver機器的壓力在高峯期會上升到比較高，這個時候開始考慮增長一臺webserver

特徵：
應用程序、數據庫、文件分別部署在獨立的資源上。

 

使用緩存改善性能

特徵：
數據庫中訪問較集中的一小部分數據存儲在緩存服務器中，減小數據庫的訪問次數，下降數據庫的訪問壓力。

描述：
系統訪問特色遵循二八定律，即80%的業務訪問集中在20%的數據上。
緩存分爲本地緩存和遠程分佈式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的狀況。

做者：知乎用戶
連接：https://www.zhihu.com/question/22764869/answer/31277656
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。
 

使用應用服務器集羣

在作完分庫分表這些工做後，數據庫上的壓力已經降到比較低了，又開始過着天天看着訪問量暴增的幸福生活了，忽然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看數據庫，壓力一切正常，以後查看webserver，發現apache阻塞了不少的請求，而應用服務器對每一個請求也是比較快的，看來 是請求數過高致使須要排隊等待，響應速度變慢

特徵：
多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

描述：
使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，提高系統的併發處理能力，使得服務器的負載壓力再也不成爲整個系統的瓶頸。

 

數據庫讀寫分離

享受了一段時間的系統訪問量高速增加的幸福後，發現系統又開始變慢了，此次又是什麼情況呢，通過查找，發現數據庫寫入、更新的這些操做的部分數據庫鏈接的資源競爭很是激烈，致使了系統變慢

特徵：
多臺服務器經過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

描述：
使用集羣是系統解決高併發、海量數據問題的經常使用手段。經過向集羣中追加資源，使得服務器的負載壓力不在成爲整個系統的瓶頸。

 

反向代理和CDN加速

特徵：
採用CDN和反向代理加快系統的 訪問速度。

描述：
爲了應付複雜的網絡環境和不一樣地區用戶的訪問，經過CDN和反向代理加快用戶訪問的速度，同時減輕後端服務器的負載壓力。CDN與反向代理的基本原理都是緩存。

 

分佈式文件系統和分佈式數據庫

隨着系統的不斷運行，數據量開始大幅度增加，這個時候發現分庫後查詢仍然會有些慢，因而按照分庫的思想開始作分表的工做

特徵：
數據庫採用分佈式數據庫，文件系統採用分佈式文件系統。

描述：
任何強大的單一服務器都知足不了大型系統持續增加的業務需求，數據庫讀寫分離隨着業務的發展最終也將沒法知足需求，須要使用分佈式數據庫及分佈式文件系統來支撐。
分佈式數據庫是系統數據庫拆分的最後方法，只有在單表數據規模很是龐大的時候才使用，更經常使用的數據庫拆分手段是業務分庫，將不一樣的業務數據庫部署在不一樣的物理服務器上。

 

使用NoSQL和搜索引擎

特徵：
系統引入NoSQL數據庫及搜索引擎。

描述：
隨着業務愈來愈複雜，對數據存儲和檢索的需求也愈來愈複雜，系統須要採用一些非關係型數據庫如NoSQL和分數據庫查詢技術如搜索引擎。應用服務器經過統一數據訪問模塊訪問各類數據，減輕應用程序管理諸多數據源的麻煩。

做者：知乎用戶
連接：https://www.zhihu.com/question/22764869/answer/31277656
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。
 

業務拆分

特徵：
系統上按照業務進行拆分改造，應用服務器按照業務區分進行分別部署。

描述：
爲了應對日益複雜的業務場景，一般使用分而治之的手段將整個系統業務分紅不一樣的產品線，應用之間經過超連接創建關係，也能夠經過消息隊列進行數據分發，固然更多的仍是經過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分：
將一個大應用拆分爲多個小應用，若是新業務較爲獨立，那麼就直接將其設計部署爲一個獨立的Web應用系統

縱向拆分相對較爲簡單，經過梳理業務，將較少相關的業務剝離便可。

橫向拆分：將複用的業務拆分出來，獨立部署爲分佈式服務，新增業務只須要調用這些分佈式服務

橫向拆分須要識別可複用的業務，設計服務接口，規範服務依賴關係。

分佈式服務

特徵：
公共的應用模塊被提取出來，部署在分佈式服務器上供應用服務器調用。

描述：
隨着業務越拆越小，應用系統總體複雜程度呈指數級上升，因爲全部應用要和全部數據庫系統鏈接，最終致使數據庫鏈接資源不足，拒絕服務。

做者：知乎用戶
連接：https://www.zhihu.com/question/22764869/answer/31277656
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。
 

Q：分佈式服務應用會面臨哪些問題？

A：
(1) 當服務愈來愈多時，服務URL配置管理變得很是困難，F5硬件負載均衡器的單點壓力也愈來愈大。
(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪一個應用要在哪一個應用以前啓動，架構師都不能完整的描述應用的架構關係。
(3) 接着，服務的調用量愈來愈大，服務的容量問題就暴露出來，這個服務須要多少機器支撐？何時該加機器？
(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？ 
(5) 一個服務有多個業務消費者，如何確保服務質量？
(6) 隨着服務的不停升級，總有些意想不到的事發生，好比cache寫錯了致使內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否能夠功能降級？或者資源劣化？ 
 

Java分佈式應用技術基礎

分佈式服務下的關鍵技術：消息隊列架構

消息對列經過消息對象分解系統耦合性，不一樣子系統處理同一個消息

分佈式服務下的關鍵技術：消息隊列原理

分佈式服務下的關鍵技術：服務框架架構

服務框架經過接口分解系統耦合性，不一樣子系統經過相同的接口描述進行服務啓用
服務框架是一個點對點模型
服務框架面向同構系統
適合：移動應用、互聯網應用、外部系統
 

分佈式服務下的關鍵技術：服務框架原理

分佈式服務下的關鍵技術：服務總線架構

服務總線同服務框架同樣，均是經過接口分解系統耦合性，不一樣子系統經過相同的接口描述進行服務啓用
服務總線是一個總線式的模型
服務總線面向同構、異構系統
適合：內部系統
 

分佈式服務下的關鍵技術：服務總線原理

分佈式架構下系統間交互的5種通訊模式

request/response模式（同步模式）：客戶端發起請求一直阻塞到服務端返回請求爲止。

Callback（異步模式）：客戶端發送一個RPC請求給服務器，服務端處理後再發送一個消息給消息發送端提供的callback端點，此類狀況很是合適如下場景：A組件發送RPC請求給B，B處理完成後，須要通知A組件作後續處理。

Future模式：客戶端發送完請求後，繼續作本身的事情，返回一個包含消息結果的Future對象。客戶端須要使用返回結果時，使用Future對象的.get(),若是此時沒有結果返回的話，會一直阻塞到有結果返回爲止。

Oneway模式：客戶端調用完繼續執行，無論接收端是否成功。

Reliable模式：爲保證通訊可靠，將藉助於消息中心來實現消息的可靠送達，請求將作持久化存儲，在接收方在線時作送達，並由消息中心保證異常重試。

五種通訊模式的實現方式-同步點對點服務模式

五種通訊模式的實現方式-異步點對點消息模式1

五種通訊模式的實現方式-異步點對點消息模式2

五種通訊模式的實現方式-異步廣播消息模式

分佈式架構下的服務治理
服務治理是服務框架/服務總線的核心功能。所謂服務治理，是指服務的提供方和消費方達成一致的約定，保證服務的高質量。服務治理功能能夠解決將某些特定流量引入某一批機器，以及限制某些非法消費者的惡意訪問，並在提供者處理量達到必定程度是，拒絕接受新的訪問。

基於服務框架Dubbo的服務治理-服務管理
道你的系統，對外提供了多少服務，能夠對服務進行升級、降級、停用、權重調整等操做
能夠知道你提供的服務，誰在使用，因業務需求，能夠對該消費者實施屏蔽、停用等操做

基於服務框架Dubbo的服務治理-服務監控

能夠統計服務的每秒請求數、平均響應時間、調用量、峯值時間等，做爲服務集羣規劃、性能調優的參考指標。

基於服務框架Dubbo的服務治理-服務路由

基於服務框架Dubbo的服務治理-服務保護

基於服務總線OSB的服務治理-功能介紹

基於服務總線OSB的服務治理

Q：Dubbo究竟是神馬？
A：

淘寶開源的高性能和透明化的RPC遠程調用服務框架
SOA服務治理方案

Q：Dubbo原理是？
A：