前滬江高級架構師學習筆記分享：分佈式框架設計與實現

1.分佈式服務框架設計

分佈式服務框架通常能夠分爲如下幾個部分，

（1）RPC基礎層：

包括底層通訊框架，如NIO框架、通訊協議，序列化和反序列化協議，

以及在這幾部分上的封裝，屏蔽底層通訊細節和序列化方式差別

（2）服務發佈/消費：

服務提供者根據消費者請求消息中的接口名，方法名，參數列表等信息，經過Java反射，調用本地的接口實現類；

服務消費者將服務提供者發佈的接口封裝成遠程服務調用；

（3）服務調用鏈：

在服務調用的職責鏈中，經過在調用鏈切面的編碼完成相關的監控和擴展，如負載均衡，服務調用性能統計，調用完成通知，

失敗重發等功能

（4）服務註冊中心：

註冊中心負責服務的發佈和通知，須要支持服務的平滑上線下線等

（5）服務治理中心：

服務治理中心是一個可視化的模塊，提供對服務的可視化分析和維護，包括服務運行狀態，調用關係和健康度等

下面以Dubbo爲例來分析分佈式服務框架的結構。

2.Dubbo的設計角色

（1）系統角色

Provider: 暴露服務的服務提供方。

Consumer: 調用遠程服務的服務消費方。

Registry: 服務註冊與發現的註冊中心。

Monitor: 統計服務的調用次調和調用時間的監控中心。

Container: 服務運行容器。

（2）調用關係

服務容器負責啓動，加載，運行服務提供者。

服務提供者在啓動時，向註冊中心註冊本身提供的服務。

服務消費者在啓動時，向註冊中心訂閱本身所需的服務。

註冊中心返回服務提供者地址列表給消費者，若是有變動，註冊中心將基於長鏈接推送變動數據給消費者。

服務消費者，從提供者地址列表中，基於軟負載均衡算法，選一臺提供者進行調用，若是調用失敗，再選另外一臺調用。

服務消費者和提供者，在內存中累計調用次數和調用時間，定時每分鐘發送一次統計數據到監控中心

3.Dubbo是如何架構的

Dubbo的整體架構如圖所示：

框架分層架構中，各個層次的設計要點：

1. 服務接口層（Service）：該層是與實際業務邏輯相關的，根據服務提供方和服務消費方的業務設計對應的接口和實現。
2. 配置層（Config）：對外配置接口，以ServiceConfig和ReferenceConfig爲中心，能夠直接new配置類，也能夠經過spring解析配置生成配置類。
3. 服務代理層（Proxy）：服務接口透明代理，生成服務的客戶端Stub和服務器端Skeleton，以ServiceProxy爲中心，擴展接口爲ProxyFactory。
4. 服務註冊層（Registry）：封裝服務地址的註冊與發現，以服務URL爲中心，擴展接口爲RegistryFactory、Registry和RegistryService。可能沒有服務註冊中心，此時服務提供方直接暴露服務。
5. 集羣層（Cluster）：封裝多個提供者的路由及負載均衡，並橋接註冊中心，以Invoker爲中心，擴展接口爲Cluster、Directory、Router和LoadBalance。將多個服務提供方組合爲一個服務提供方，實現對服務消費方來透明，只須要與一個服務提供方進行交互。
6. 監控層（Monitor）：RPC調用次數和調用時間監控，以Statistics爲中心，擴展接口爲MonitorFactory、Monitor和MonitorService。
7. 遠程調用層（Protocol）：封將RPC調用，以Invocation和Result爲中心，擴展接口爲Protocol、Invoker和Exporter。Protocol是服務域，它是Invoker暴露和引用的主功能入口，它負責Invoker的生命週期管理。
8. Invoker是實體域，它是Dubbo的核心模型，其它模型都向它靠擾，或轉換成它，它表明一個可執行體，可向它發起invoke調用，它有多是一個本地的實現，也多是一個遠程的實現，也可能一個集羣實現。
9. 信息交換層（Exchange）：封裝請求響應模式，同步轉異步，以Request和Response爲中心，擴展接口爲Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer。
10. 網絡傳輸層（Transport）：抽象mina和netty爲統一接口，以Message爲中心，擴展接口爲Channel、Transporter、Client、Server和Codec。

11. 數據序列化層（Serialize）：可複用的一些工具，擴展接口爲Serialization、

    ObjectInput、ObjectOutput和ThreadPool。

    推薦一個交流學習羣：478030634 裏面會分享一些資深架構師錄製的視頻錄像：有Spring，MyBatis，Netty源碼分析，高併發、高性能、分佈式、微服務架構的原理，JVM性能優化這些成爲架構師必備的知識體系。還能領取免費的學習資源，目前受益良多：

4.Dubbo的底層實現

（1）協議支持

Dubbo支持多種協議，以下所示：

• Dubbo協議 Hessian協議
• HTTP協議 RMI協議
• WebService協議

Thrift協議 Memcached協議 Redis協議

在通訊過程當中，不一樣的服務等級通常對應着不一樣的服務質量，那麼選擇合適的協議即是一件很是重要的事情。你能夠根據你應用的建立來選擇。例如，使用RMI協議，通常會受到防火牆的限制，因此對於外部與內部進行通訊的場景，就不要使用RMI協議，而是基於HTTP協議或者Hessian協議。

（2）默認使用Dubbo協議

鏈接個數：單鏈接

鏈接方式：長鏈接

傳輸協議：TCP

傳輸方式：NIO異步傳輸

序列化：Hessian二進制序列化

適用範圍：傳入傳出參數數據包較小（建議小於100K），消費者比提供者個數多，單一消費者沒法壓滿提供者，儘可能不要使用dubbo協議傳輸大文件或超大字符串

使用場景：常規遠程服務方法調用

從上面的適用範圍總結，dubbo適合小數據量大併發的服務調用，以及消費者機器遠大於生產者機器數的狀況，不適合傳輸大數據量的服務好比文件、視頻等，除非請求量很低。

（3）Dubbo源碼模塊圖

Dubbo以包結構來組織各個模塊，各個模塊及其關係，如圖所示：

能夠經過Dubbo的代碼（使用Maven管理）組織，與上面的模塊進行比較。簡單說明各個包的狀況：

• dubbo-common 公共邏輯模塊，包括Util類和通用模型。
• dubbo-remoting 遠程通信模塊，至關於Dubbo協議的實現，若是RPC用RMI協議則不須要使用此包。
• dubbo-rpc 遠程調用模塊，抽象各類協議，以及動態代理，只包含一對一的調用，不關心集羣的管理。
• dubbo-cluster
  集羣模塊，將多個服務提供方假裝爲一個提供方，包括：負載均衡、容錯、路由等，集羣的地址列表能夠是靜態配置的，也能夠是由註冊中心下發。
• dubbo-registry 註冊中心模塊，基於註冊中心下發地址的集羣方式，以及對各類註冊中心的抽象。
• dubbo-monitor 監控模塊，統計服務調用次數，調用時間的，調用鏈跟蹤的服務。
• dubbo-config 配置模塊，是Dubbo對外的API，用戶經過Config使用Dubbo，隱藏Dubbo全部細節。
• dubbo-container
  容器模塊，是一個Standalone的容器，以簡單的Main加載Spring啓動，由於服務一般不須要Tomcat/JBoss等Web容器的特性，不必用Web容器去加載服務。

5.服務暴露和消費的詳細過程

（1）服務提供者暴露一個服務的詳細過程

服務提供者暴露服務的主過程：

首先ServiceConfig類拿到對外提供服務的實際類ref(如：HelloWorldImpl),而後經過ProxyFactory類的getInvoker方法使用ref生成一個AbstractProxyInvoker實例，

到這一步就完成具體服務到Invoker的轉化。接下來就是Invoker轉換到Exporter的過程。

Dubbo處理服務暴露的關鍵就在Invoker轉換到Exporter的過程(如上圖中的紅色部分)，下面咱們以Dubbo和RMI這兩種典型協議的實現來進行說明：

Dubbo的實現

Dubbo協議的Invoker轉爲Exporter發生在DubboProtocol類的export方法，它主要是打開socket偵聽服務，並接收客戶端發來的各類請求，通信細節由Dubbo本身實現。

RMI的實現

RMI協議的Invoker轉爲Exporter發生在RmiProtocol類的export方法，

它經過Spring或Dubbo或JDK來實現RMI服務，通信細節這一塊由JDK底層來實現，這就省了很多工做量。

（2）服務消費者消費一個服務的詳細過程

服務消費的主過程：

首先ReferenceConfig類的init方法調用Protocol的refer方法生成Invoker實例(如上圖中的紅色部分)，這是服務消費的關鍵。

接下來把Invoker轉換爲客戶端須要的接口(如：HelloWorld)。