隨着互聯網的發展,網站應用的規模不斷擴大,常規的垂直應用架構已沒法應對,分佈式服務架構以及流動計算架構勢在必行,亟需一個治理系統確保架構有條不紊的演進。 html
當網站流量很小時,只需一個應用,將全部功能都部署在一塊兒,以減小部署節點和成本。
此時,用於簡化增刪改查工做量的 數據訪問框架(ORM) 是關鍵。前端
當訪問量逐漸增大,單一應用增長機器帶來的加速度愈來愈小,將應用拆成互不相干的幾個應用,以提高效率。
此時,用於加速前端頁面開發的 Web框架(MVC) 是關鍵。java
當垂直應用愈來愈多,應用之間交互不可避免,將核心業務抽取出來,做爲獨立的服務,逐漸造成穩定的服務中心,使前端應用能更快速的響應多變的市場需求。
此時,用於提升業務複用及整合的 分佈式服務框架(RPC) 是關鍵。git
當服務愈來愈多,容量的評估,小服務資源的浪費等問題逐漸顯現,此時需增長一個調度中心基於訪問壓力實時管理集羣容量,提升集羣利用率。
此時,用於提升機器利用率的 資源調度和治理中心(SOA) 是關鍵。github
Dubbo是一個分佈式服務框架,致力於提供高性能和透明化的RPC遠程服務調用方案,SOA服務治理方案。簡單的說,dubbo就是個服務框架,若是沒有分佈式的需求,實際上是不須要用的,只有在分佈式的時候,纔有dubbo這樣的分佈式服務框架的需求,而且本質上是個服務調用,說白了就是個遠程服務調用的分佈式框架。告別Web Service模式中的wsdl,以服務者與消費者的方式在dubbo 上註冊)。web
其核心部分包含:面試
1.遠程通信,提供對多種基於長鏈接的NiO框架抽象封裝,包括多種線程模型,序列化,以及「請求一響應」模式的信息交換方式。redis
2.集羣容錯: 提供基於接口方法的透明遠程過程調用,包括多協議支持。以算法
及負載均衡,失敗容錯,地址路由,動態配置等集羣支持。 spring
3.自動發現:基於註冊中心目錄服務,使用服務消費能動態查找服務提供方,使地址透明,使用服務提供方能夠平滑增長或減小服務器
問題:
服務的URL管理很是困難(rmi://、http:*、)、F5負載均衡器的單點壓力(硬件成本)
各個服務之間依賴管理很是複雜
各個服務之間如何進行監控
1.透明化的遠程方法調用,就像調用本地方法同樣調用遠程方法,只需簡單
配置,沒有任何API侵入。
2.軟負載均衡及容錯機制,可在內網替代F5等硬件負鞭均衡器,下降成本,
減小單點。
3.服務自動註冊與發現,再也不須要寫死服務提供方地址,註冊中心基於樓口
名查詢服務提供者的IP地址,而且可以平滑添加或刪除服務提供者。
4.Dubbo採用全Spring 配置方式,功明化接入應用,對應用沒有任何API侵
只需用Spring加載Dubbo的配置便可,Dubbo基FSpring的Schema擴
入,展進行加載。
Provider: 暴露服務的服務提供方。
Consumer: 調用遠程服務的服務消費方。
Registry: 服務註冊與發現的註冊中心。
Monitor: 統計服務的調用次調和調用時間的監控中心。 Ma了的
Container:服務器容器 kənˈteɪnə(r)
服務容器負責啓動,加載,運行服務提供者。
服務提供者在啓動時,向註冊中心註冊本身提供的服務。
服務消費者在啓動時,向註冊中心訂閱本身所需的服務。
註冊中心返回服務提供者地址列表給消費者,若是有變動,註冊中心將基於長鏈接推送變動數據給消費者。
服務消費者,從提供者地址列表中,基於軟負載均衡算法,選一臺提供者進行調用,若是調用失敗,再選另外一臺調用。
服務消費者和提供者,在內存中累計調用次數和調用時間,定時每分鐘發送一次統計數據到監控中心。
- 連通性:
註冊中心負責服務地址的註冊與查找,至關於目錄服務,服務提供者和消費者只在啓動時與註冊中心交互,註冊中心不轉發請求,壓力較小
監控中心負責統計各服務調用次數,調用時間等,統計先在內存彙總後每分鐘一次發送到監控中心服務器,並以報表展現
服務提供者向註冊中心註冊其提供的服務,並彙報調用時間到監控中心,此時間不包含網絡開銷
服務消費者向註冊中心獲取服務提供者地址列表,並根據負載算法直接調用提供者,同時彙報調用時間到監控中心,此時間包含網絡開銷
註冊中心,服務提供者,服務消費者三者之間均爲長鏈接,監控中心除外
註冊中心經過長鏈接感知服務提供者的存在,服務提供者宕機,註冊中心將當即推送事件通知消費者
註冊中心和監控中心所有宕機,不影響已運行的提供者和消費者,消費者在本地緩存了提供者列表
註冊中心和監控中心都是可選的,服務消費者能夠直連服務提供者
監控中心宕掉不影響使用,只是丟失部分採樣數據
數據庫宕掉後,註冊中心仍能經過緩存提供服務列表查詢,但不能註冊新服務
註冊中心對等集羣,任意一臺宕掉後,將自動切換到另外一臺
註冊中心所有宕掉後,服務提供者和服務消費者仍能經過本地緩存通信
服務提供者無狀態,任意一臺宕掉後,不影響使用
服務提供者所有宕掉後,服務消費者應用將沒法使用,並沒有限次重連等待服務提供者恢復
註冊中心爲對等集羣,可動態增長機器部署實例,全部客戶端將自動發現新的註冊中心
服務提供者無狀態,可動態增長機器部署實例,註冊中心將推送新的服務提供者信息給消費者
當服務集羣規模進一步擴大,帶動IT治理結構進一步升級,須要實現動態部署,進行流動計算,現有分佈式服務架構不會帶來阻力:
Deployer: 自動部署服務的本地代理。
Repository: 倉庫用於存儲服務應用發佈包。
Scheduler: 調度中心基於訪問壓力自動增減服務提供者。
Admin: 統一管理控制檯。
Register:註冊中心
Producer:生產者
Consumer:消費者
Subscribe:訂閱
Notify:通知
Invoke:調用
MONTOR:監控
Container 容器
Eureka: SpringCloud註冊中心
在大規模服務化以前,應用可能只是經過RMI或Hessian等工具,簡單的暴露和引用遠程服務,經過配置服務的URL地址進行調用,經過F5等硬件進行負載均衡。
(1) 當服務愈來愈多時,服務URL配置管理變得很是困難,F5硬件負載均衡器的單點壓力也愈來愈大。
此時須要一個服務註冊中心,動態的註冊和發現服務,使服務的位置透明。
並經過在消費方獲取服務提供方地址列表,實現軟負載均衡和Failover,下降對F5硬件負載均衡器的依賴,也能減小部分紅本。
(2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪一個應用要在哪一個應用以前啓動,架構師都不能完整的描述應用的架構關係。
這時,須要自動畫出應用間的依賴關係圖,以幫助架構師理清理關係。
(3) 接着,服務的調用量愈來愈大,服務的容量問題就暴露出來,這個服務須要多少機器支撐?何時該加機器?
爲了解決這些問題,第一步,要將服務如今天天的調用量,響應時間,都統計出來,做爲容量規劃的參考指標。
其次,要能夠動態調整權重,在線上,將某臺機器的權重一直加大,並在加大的過程當中記錄響應時間的變化,直到響應時間到達閥值,記錄此時的訪問量,再以此訪問量乘以機器數反推總容量。
使用zookeeper 做爲服務註冊中心
建立Dubbo-hongmoshui-interface工程提供服務接口
package com.hongmoshui.service; //會員服務接口 public interface UserService { // 使用userid查詢 用戶信息 public String getUser(Long userId); }
建立Dubbo-hongmoshui-member-provider 工程提供服務接口,生產者主要發佈服務.
<dependencies> <dependency> <groupId>com.hongmoshui.www</groupId> <artifactId>Dubbo-hongmoshui-interface</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.5.6</version> </dependency> <!-- 添加zk客戶端依賴 --> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> <version>0.1</version> </dependency> </dependencies>
package com.hongmoshui.service.impl; import com.hongmoshui.service.UserService; public class UserServiceImpl implements UserService { public String getUser(Long userId) { System.out.println("###會員服務接受參數開始userId:" + userId); if (userId == 1) { return "洪墨水"; } if (userId == 2) { return "張傑"; } System.out.println("###會員服務接受參數結束###"); return "未找到用戶..."; } }
<?xml version="1.0" encoding="utf-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://code.alibabatech.com/schema/dubbo
http://code.alibabatech.com/schema/dubbo/dubbo.xsd "> <!-- 提供方應用信息,用於計算依賴關係 --> <dubbo:application name="provider" /> <!-- 使用zookeeper註冊中心暴露服務地址 --> <dubbo:registry address="zookeeper://127.0.0.1:2181" /> <!-- 用dubbo協議在29014端口暴露服務 --> <dubbo:protocol name="dubbo" port="29014" /> <!-- 聲明須要暴露的服務接口 --> <dubbo:service interface="com.hongmoshui.service.UserService" ref="userService" /> <!-- 具體的實現bean --> <bean id="userService" class="com.hongmoshui.service.impl.UserServiceImpl" /> </beans>
package com.hongmoshui; import java.io.IOException; import org.springframework.context.support.ClassPathXmlApplicationContext; // 啓動會員服務 public class MemberServer { public static void main(String[] args) throws IOException { ClassPathXmlApplicationContext applicationContext = new ClassPathXmlApplicationContext("provider.xml"); applicationContext.start(); System.out.println("會員服務啓動成功..."); System.in.read(); applicationContext.close(); } }
<dependencies> <dependency> <groupId>com.hongmoshui.www</groupId> <artifactId>Dubbo-hongmoshui-interface</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.5.6</version> </dependency> <!-- 添加zk客戶端依賴 --> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> <version>0.1</version> </dependency> </dependencies>
package com.hongmoshui.service; import org.springframework.context.support.ClassPathXmlApplicationContext; public class OrderService { public static void addOrder() { ClassPathXmlApplicationContext applicationContext = new ClassPathXmlApplicationContext("consumer.xml"); applicationContext.start(); System.out.println("###order服務,開始調用會員服務"); UserService userService = (UserService) applicationContext.getBean("userService"); String userName = userService.getUser(1l); System.out.println("###order服務,結束調用會員服務,userName:" + userName); } public static void main(String[] args) { addOrder(); } }
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd"> <!-- 消費方應用名,用於計算依賴關係,不是匹配條件,不要與提供方同樣 --> <dubbo:application name="consumer" /> <!-- 使用multicast廣播註冊中心暴露發現服務地址 --> <dubbo:registry protocol="zookeeper" address="zookeeper://127.0.0.1:2181" /> <!-- 生成遠程服務代理,能夠和本地bean同樣使用demoService --> <dubbo:reference id="userService" interface="com.hongmoshui.service.UserService" /> </beans>
Dubbo缺省協議採用單一長鏈接和NIO異步通信,適合於小數據量大併發的服務調用,以及服務消費者機器數遠大於服務提供者機器數的狀況。Dubbo缺省協議不適合傳送大數據量的服務,好比傳文件,傳視頻等,除非請求量很低。
Hessian協議用於集成Hessian的服務,Hessian底層採用Http通信,採用Servlet暴露服務,Dubbo缺省內嵌Jetty做爲服務器實現。Hessian是Caucho開源的一個RPC框架:http://hessian.caucho.com,其通信效率高於WebService和Java自帶的序列化。
基於Hessian的遠程調用協議:
鏈接個數:多鏈接
鏈接方式:短鏈接
傳輸協議:HTTP
傳輸方式:同步傳輸
序列化:Hessian二進制序列化
適用範圍:傳入傳出參數數據包較大,提供者比消費者個數多,提供者壓力較大,可傳文件。
適用場景:頁面傳輸,文件傳輸,或與原生hessian服務互操做
此協議採用spring 的HttpInvoker的功能實現,
鏈接個數:多個
鏈接方式:長鏈接
鏈接協議:http
傳輸方式:同步傳輸
序列化:表單序列化
適用範圍:傳入傳出參數數據包大小混合,提供者比消費者個數多,可用瀏覽器查看,可用表單或URL傳入參數,暫不支持傳文件。
適用場景:需同時給應用程序和瀏覽器JS使用的服務。
採用JDK標準的java.rmi.*實現,採用阻塞式短鏈接和JDK標準序列化方式
Java標準的遠程調用協議:
鏈接個數:多鏈接
鏈接方式:短鏈接
傳輸協議:TCP
傳輸方式:同步傳輸
序列化:Java標準二進制序列化
適用範圍:傳入傳出參數數據包大小混合,消費者與提供者個數差很少,可傳文件。
適用場景:常規遠程服務方法調用,與原生RMI服務互操做
步驟:
將dubbo-admin.zip 解壓到webapps目錄下
修改dubbo.properties zk註冊中心鏈接地址鏈接信息
啓動tomcat便可
步驟
修改配置文件:
provider.xml 端口號 <dubbo:protocol name="dubbo" port="29015" />
啓動兩個服務。
dubbo 2.8.4(dubbox)的jar包製做【添加到maven本地倉庫】
package com.hongmoshui.service; public interface UserService { public String getUser(Integer id); }
<dependencies> <dependency> <groupId>com.hongmoshui.www</groupId> <artifactId>Dubbox-interface</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.8.4</version> </dependency> <!-- 添加zk客戶端依賴 --> <dependency> <groupId>com.github.sgroschupf</groupId> <artifactId>zkclient</artifactId> <version>0.1</version> </dependency> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-jaxrs</artifactId> <version>3.0.7.Final</version> </dependency> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-client</artifactId> <version>3.0.7.Final</version> </dependency> <dependency> <groupId>javax.validation</groupId> <artifactId>validation-api</artifactId> <version>1.0.0.GA</version> </dependency> <!-- 若是要使用json序列化 --> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-jackson-provider</artifactId> <version>3.0.7.Final</version> </dependency> <!-- 若是要使用xml序列化 --> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-jaxb-provider</artifactId> <version>3.0.7.Final</version> </dependency> <!-- 若是要使用netty server --> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-netty</artifactId> <version>3.0.7.Final</version> </dependency> <!-- 若是要使用Sun HTTP server --> <dependency> <groupId>org.jboss.resteasy</groupId> <artifactId>resteasy-jdk-http</artifactId> <version>3.0.7.Final</version> </dependency> <!-- 若是要使用tomcat server --> <dependency> <groupId>org.apache.tomcat.embed</groupId> <artifactId>tomcat-embed-core</artifactId> <version>8.0.11</version> </dependency> <dependency> <groupId>org.apache.tomcat.embed</groupId> <artifactId>tomcat-embed-logging-juli</artifactId> <version>8.0.11</version> </dependency> <dependency> <groupId>com.esotericsoftware.kryo</groupId> <artifactId>kryo</artifactId> <version>2.24.0</version> </dependency> <dependency> <groupId>de.javakaffee</groupId> <artifactId>kryo-serializers</artifactId> <version>0.26</version> </dependency> <dependency> <groupId>de.ruedigermoeller</groupId> <artifactId>fst</artifactId> <version>1.55</version> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-core</artifactId> <version>2.3.3</version> </dependency> <dependency> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty</artifactId> <version>7.0.0.pre5</version> </dependency> </dependencies>
package com.hongmoshui.service.impl; import javax.ws.rs.GET; import javax.ws.rs.Path; import javax.ws.rs.PathParam; import javax.ws.rs.Produces; import javax.ws.rs.core.MediaType; import com.hongmoshui.service.UserService; @Path("users") public class UserServiceImpl implements UserService { @GET @Path("{id : \\d+}") @Produces(MediaType.APPLICATION_JSON) public String getUser(@PathParam("id") Integer id) { if (id == 1) { return "hongmoshui"; } if (id == 2) { return "zhangsan"; } return "not user info"; } }
<?xml version="1.0" encoding="utf-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd "> <!-- 提供方應用信息,用於計算依賴關係 --> <dubbo:application name="dubbox-provider" /> <!-- 使用zookeeper註冊中心暴露服務地址 --> <dubbo:registry address="zookeeper://127.0.0.1:2181" /> <!-- 用rest協議在8080端口暴露服務 --> <dubbo:protocol name="rest" port="8081" /> <!-- 聲明須要暴露的服務接口 --> <dubbo:service interface="com.hongmoshui.service.UserService" ref="userService" /> <!-- 和本地bean同樣實現服務 --> <bean id="userService" class="com.hongmoshui.service.impl.UserServiceImpl" /> </beans>
package com.hongmoshui; import java.io.IOException; import org.springframework.context.support.ClassPathXmlApplicationContext; public class Provider { public static void main(String[] args) throws IOException { ClassPathXmlApplicationContext applicationContext = new ClassPathXmlApplicationContext("dubbox-provider.xml"); applicationContext.start(); System.out.println("生產者已經啓動..."); System.in.read(); applicationContext.close(); } }
http://127.0.0.1:8081/user/getUser/2
package com.hongmoshui.service; import javax.ws.rs.GET; import javax.ws.rs.Path; import javax.ws.rs.PathParam; import javax.ws.rs.Produces; import javax.ws.rs.core.MediaType; @Path("users") public interface UserService { @GET @Path("{id : \\d+}") @Produces(MediaType.APPLICATION_JSON) public String getUser(@PathParam("id") Integer id); }
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xmlns:util="http://www.springframework.org/schema/util" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-3.0.xsd"> <!-- 提供方應用信息,用於計算依賴關係 --> <dubbo:application name="dubbox-consumer" /> <dubbo:registry address="zookeeper://127.0.0.1:2181" /> <!-- 生成遠程服務代理,能夠像使用本地bean --> <dubbo:reference interface="com.hongmoshui.service.UserService" id="userService" check="false" /> </beans>
package com.hongmoshui; import org.springframework.context.support.ClassPathXmlApplicationContext; import com.hongmoshui.service.UserService; public class Consumer { public static void main(String[] args) { ClassPathXmlApplicationContext applicationContext = new ClassPathXmlApplicationContext("dubbox-consumer.xml"); applicationContext.start(); System.out.println("###消費者啓動####"); UserService userService = (UserService) applicationContext.getBean("userService"); System.out.println("消費者調用生產者服務開始"); String user = userService.getUser(1); System.out.println("消費者調用生產者服務結束 user:" + user); applicationContext.close(); } }
Duubbo是一個RPC遠程調用框架, 分佈式服務治理框架
什麼是Dubbo服務治理?
服務與服務之間會有不少個Url、依賴關係、負載均衡、容錯、自動註冊服務。
默認用的dubbo協議、Http、RMI、Hessian
分爲四大模塊
生產者、消費者、註冊中心、監控中心
生產者:提供服務
消費者: 調用服務
註冊中心:註冊信息(redis、zk)
監控中心:調用次數、關係依賴等。
首先生產者將服務註冊到註冊中心(zk),使用zk持久節點進行存儲,消費訂閱zk節點,一旦有節點變動,zk經過事件通知傳遞給消費者,消費能夠調用生產者服務。
服務與服務之間進行調用,都會在監控中心中,存儲一個記錄。
Dubox使用http協議+rest風格傳入json或者xml格式進行遠程調用。
Dubbo使用Dubbo協議。
SpringCloud、dubbo、Dubbox、thint、Hessian…
Rpc其實就是遠程調用,服務與服務之間相互進行通信。
目前主流 用http+json
dubbo與springcloud均可以實現RPC遠程調用。
dubbo與springcloud均可以使用分佈式、微服務場景下。
dubbo有比較強的背景,在國內有必定影響力。
dubbo使用zk或redis做爲做爲註冊中心
springcloud使用eureka做爲註冊中心
dubbo支持多種協議,默認使用dubbo協議。
Springcloud只能支持http協議。
Springcloud是一套完整的微服務解決方案。
Dubbo目前已經中止更新,SpringCloud更新速度快。
在啓動dubbo-admin時咱們會先啓動zookeeper,若是項目跑到zkclient.ZkEventThread - Starting ZkClient event thread.就不走了,那麼就是zookeeper沒有跑起來,若是你在zookeeper的目錄下運行了./zookeeper-3.3.6/bin/zkServer.sh start 仍是這樣的話,那麼請執行/zookeeper-3.3.6/bin/zkServer.sh status命令看看zookeeper是否跑起來了,若是沒跑起來極可能是由於你zookeeper下的conf目錄沒有zoo.cfg
解決辦法:吧conf目錄下的zoo_sample.cfg複製一份爲zoo.cfg.