分佈式系統(distributed system)是創建在網絡之上的軟件系統。html
內聚性是指每個數據庫分佈節點高度自治,有本地的數據庫管理系統。web
透明性是指每個數據庫分佈節點對用戶的應用來講都是透明的,看不出是本地仍是遠程。數據庫
在分佈式數據庫系統中,用戶感受不到數據是分佈的,即用戶不須知道關係是否分割、有無副本、數據存於哪一個站點以及事務在哪一個站點上執行等。apache
簡單來說:在一個分佈式系統中,一組獨立的計算機展示給用戶的是一個統一的總體,就好像是一個系統似的。後端
分佈式系統做爲一個總體對用戶提供服務,而整個系統的內部的協做用戶來講是透明的,用戶就像是在使用一個MySQL同樣。緩存
如分佈式MySQL中間件-Mycat,來處理大併發大數據量的構架。服務器
有 分佈式文件系統,分佈式緩存系統,分佈式數據庫,分佈式WebService,分佈式計算 網絡
咱們來舉例說明:架構
分佈式文件系統: 出名的有 Hadoop 的HDFS ,還有 google的 GFS , 淘寶的 TFS 等併發
分佈式緩存系統:memcache , hbase , mongdb 等
分佈式數據庫 : MySQL , Mariadb, PostgreSQL 等
以分佈式MySQL數據庫中間件MyCat 爲例子,
MySQL 在如今電商以及互聯網公司的應用很是多,一個是由於他的免費開源,另一個緣由是由於分佈式系統
的水平可擴展性,隨着移動互聯網用戶的暴增,互聯網公司,像淘寶,天貓,惟品會等電商都採用分佈式系統應對
用戶的高併發量以及大數據量的存儲。
而在Mycat的商業案例中,有對中國移動的帳單結算項目中,應用實時處理高峯期天天2億的數據量,
在對物聯網的項目中,實現處理高達26億的數據量,並提供實時查詢的接口。
經過對MyCat的學習,加深分佈式系統架構的理解,
以及分佈式相關的技術,分佈式一致性ZooKeeper服務, 高可用HAProxy/keepalived等相關應用。
1> 集羣 與 分佈式
2> 負載均衡
3> 分佈式相關的高可用、容災等名詞解釋
4> Mycat 中間件學習
首先推薦4本書
大型分佈式網站架構設計與實踐
http://item.jd.com/11529266.html
大型網站技術架構:核心原理與案例分析
http://item.jd.com/11322972.html
大型網站系統與Java中間件實踐
http://item.jd.com/11449803.html
分佈式Java應用:基礎與實踐
http://item.jd.com/10144196.html
貌似都是4位阿里人寫的,一本一本的看吧,絕對會加強你的內功。
Q:分佈式服務應用會面臨哪些問題?
A:
(1) 當服務愈來愈多時,服務URL配置管理變得很是困難,F5硬件負載均衡器的單點壓力也愈來愈大。
(2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪一個應用要在哪一個應用以前啓動,架構師都不能完整的描述應用的架構關係。
(3) 接着,服務的調用量愈來愈大,服務的容量問題就暴露出來,這個服務須要多少機器支撐?何時該加機器?
(4) 服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的參數都有什麼約定?
(5) 一個服務有多個業務消費者,如何確保服務質量?
(6) 隨着服務的不停升級,總有些意想不到的事發生,好比cache寫錯了致使內存溢出,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否能夠功能降級?或者資源劣化?
Java分佈式應用技術基礎
分佈式服務下的關鍵技術:消息隊列架構
消息對列經過消息對象分解系統耦合性,不一樣子系統處理同一個消息
分佈式服務下的關鍵技術:消息隊列原理
分佈式服務下的關鍵技術:服務框架架構
服務框架經過接口分解系統耦合性,不一樣子系統經過相同的接口描述進行服務啓用
服務框架是一個點對點模型
服務框架面向同構系統
適合:移動應用、互聯網應用、外部系統
分佈式服務下的關鍵技術:服務框架原理
分佈式服務下的關鍵技術:服務總線架構
服務總線同服務框架同樣,均是經過接口分解系統耦合性,不一樣子系統經過相同的接口描述進行服務啓用
服務總線是一個總線式的模型
服務總線面向同構、異構系統
適合:內部系統
分佈式服務下的關鍵技術:服務總線原理
分佈式架構下系統間交互的5種通訊模式
request/response模式(同步模式):客戶端發起請求一直阻塞到服務端返回請求爲止。
Callback(異步模式):客戶端發送一個RPC請求給服務器,服務端處理後再發送一個消息給消息發送端提供的callback端點,此類狀況很是合適如下場景:A組件發送RPC請求給B,B處理完成後,須要通知A組件作後續處理。
Future模式:客戶端發送完請求後,繼續作本身的事情,返回一個包含消息結果的Future對象。客戶端須要使用返回結果時,使用Future對象的.get(),若是此時沒有結果返回的話,會一直阻塞到有結果返回爲止。
Oneway模式:客戶端調用完繼續執行,無論接收端是否成功。
Reliable模式:爲保證通訊可靠,將藉助於消息中心來實現消息的可靠送達,請求將作持久化存儲,在接收方在線時作送達,並由消息中心保證異常重試。
五種通訊模式的實現方式-同步點對點服務模式
五種通訊模式的實現方式-異步點對點消息模式1
五種通訊模式的實現方式-異步點對點消息模式2
五種通訊模式的實現方式-異步廣播消息模式
分佈式架構下的服務治理
服務治理是服務框架/服務總線的核心功能。所謂服務治理,是指服務的提供方和消費方達成一致的約定,保證服務的高質量。服務治理功能能夠解決將某些特定流量引入某一批機器,以及限制某些非法消費者的惡意訪問,並在提供者處理量達到必定程度是,拒絕接受新的訪問。
基於服務框架Dubbo的服務治理-服務管理
道你的系統,對外提供了多少服務,能夠對服務進行升級、降級、停用、權重調整等操做
能夠知道你提供的服務,誰在使用,因業務需求,能夠對該消費者實施屏蔽、停用等操做
基於服務框架Dubbo的服務治理-服務監控
能夠統計服務的每秒請求數、平均響應時間、調用量、峯值時間等,做爲服務集羣規劃、性能調優的參考指標。
基於服務框架Dubbo的服務治理-服務路由
基於服務框架Dubbo的服務治理-服務保護
基於服務總線OSB的服務治理-功能介紹
基於服務總線OSB的服務治理
Q:Dubbo究竟是神馬?
A:
淘寶開源的高性能和透明化的RPC遠程調用服務框架
SOA服務治理方案
Q:Dubbo原理是?
A:
-結束-
億級Web系統搭建——單機到分佈式集羣:http://kb.cnblogs.com/page/509402/