大型的分佈式網站架構技術總結以下

對架構一個高性能，高可用，可伸縮，可擴展的分佈式網站進行了概要性描述，並給出一個架構參考。一部分爲讀書筆記，一部分是我的經驗總結。對大型分佈式網站架構有很好的參考價值。

本次分享大綱以下

• 大型網站的特色
• 大型網站架構目標
• 大型網站架構模式
• 高性能架構
• 高可用架構
• 可伸縮架構
• 可擴展架構
• 安全架構
• 敏捷架構
• 大型架構舉例

1、大型網站的特色

1.用戶多，分佈普遍大流量，高併發

2.海量數據，服務高可用

3.安全環境惡劣，易受網絡攻擊

4.功能多，變動快，頻繁發佈

5.從小到大，漸進發展

6.以用戶爲中心

7.免費服務，付費體驗 

2、大型網站架構目標

1.高性能：提供快速的訪問體驗。

2.高可用：網站服務一直能夠正常訪問。

3.可伸縮：經過硬件增長/減小，提升/下降處理能力。

4.安全性：提供網站安全訪問和數據加密，安全存儲等策略。

5.擴展性：方便的經過新增/移除方式，增長/減小新的功能/模塊。

6.敏捷性：隨需應變，快速響應；

 

3、大型網站架構模式<ignore_js_op>

 
分層：通常可分爲，應用層，服務層，數據層，管理層，分析層；
分割：通常按照業務/模塊/功能特色進行劃分，好比應用層分爲首頁，用戶中心。
分佈式：將應用分開部署（好比多臺物理機），經過遠程調用協同工做。
集羣：一個應用/模塊/功能部署多份（如：多臺物理機），經過負載均衡共同提供對外訪問。
緩存：將數據放在距離應用或用戶最近的位置，加快訪問速度。
異步：將同步的操做異步化。客戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。通常指：請求——響應——通知 模式。
冗餘：增長副本，提升可用性，安全性，性能。
安全：對已知問題有有效的解決方案，對未知/潛在問題創建發現和防護機制。
自動化：將重複的，不須要人工參與的事情，經過工具的方式，使用機器完成。
敏捷性：積極接受需求變動，快速響應業務發展需求。 

4、高性能架構

以用戶爲中心，提供快速的網頁訪問體驗。主要參數有較短的響應時間，較大的併發處理能力，較高的吞吐量，穩定的性能參數。

可分爲前端優化，應用層優化，代碼層優化，存儲層優化。

前端優化：網站業務邏輯以前的部分；

瀏覽器優化：減小Http請求數，使用瀏覽器緩存，啓用壓縮，Css Js位置，Js異步，減小Cookie傳輸；

CDN加速，反向代理；

應用層優化：處理網站業務的服務器。使用緩存，異步，集羣

代碼優化：合理的架構，多線程，資源複用（對象池，線程池等），良好的數據結構，JVM調優，單例，Cache等；

存儲優化：緩存，固態硬盤，光纖傳輸，優化讀寫，磁盤冗餘，分佈式存儲（HDFS），NOSQL等；

5、高可用架構

大型網站應該在任什麼時候候均可以正常訪問。正常提供對外服務。由於大型網站的複雜性，分佈式，廉價服務器，開源數據庫，操做系統等特色。要保證高可用是很困難的，也就是說網站的故障是不可避免的。

如何提升可用性，就是須要迫切解決的問題。首先，須要從架構級別，在規劃的時候，就考慮可用性。行業內通常用幾個9表示可用性指標。好比四個9（99.99），一年內容許的不可用時間是53分鐘。

不一樣層級使用的策略不一樣，通常採用冗餘備份和失效轉移解決高可用問題。

應用層：通常設計爲無狀態的，對於每次請求，使用哪一臺服務器處理是沒有影響的。通常使用負載均衡技術（須要解決Session同步問題），實現高可用。

服務層：負載均衡，分級管理，快速失敗（超時設置），異步調用，服務降級，冪等設計等。

數據層：冗餘備份（冷，熱備[同步，異步]，溫備），失效轉移（確認，轉移，恢復）。數據高可用方面著名的理論基礎是CAP理論（持久性，可用性，數據一致性[強一致，用戶一致，最終一致]）  

6、可伸縮架構

伸縮性是指在不改變原有架構設計的基礎上，經過添加/減小硬件（服務器）的方式，提升/下降系統的處理能力。

應用層：對應用進行垂直或水平切分。而後針對單一功能進行負載均衡（DNS,HTTP[反向代理],IP,鏈路層）。

服務層：與應用層相似；

數據層：分庫，分表，NOSQL等；經常使用算法Hash，一致性Hash。

7、可擴展架構

能夠方便的進行功能模塊的新增/移除，提供代碼/模塊級別良好的可擴展性。

模塊化，組件化：高內聚，內耦合，提升複用性，擴展性。

穩定接口：定義穩定的接口，在接口不變的狀況下，內部結構能夠「隨意」變化。

設計模式：應用面向對象思想，原則，使用設計模式，進行代碼層面的設計。

消息隊列：模塊化的系統，經過消息隊列進行交互，使模塊之間的依賴解耦。

分佈式服務：公用模塊服務化，提供其餘系統使用，提升可重用性，擴展性。

8、安全架構

對已知問題有有效的解決方案，對未知/潛在問題創建發現和防護機制。對於安全問題，首先要提升安全意識，創建一個安全的有效機制，從政策層面，組織層面進行保障。好比服務器密碼不能泄露，密碼每個月更新，而且三次內不能重複；每週安全掃描等。以制度化的方式，增強安全體系的建設。同時，須要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，數據保密安全等。

基礎設施安全：硬件採購，操做系統，網絡環境方面的安全。通常採用，正規渠道購買高質量的產品，選擇安全的操做系統，及時修補漏洞，安裝殺毒軟件防火牆。防範病毒，後門。設置防火牆策略，創建DDOS防護系統，使用攻擊檢測系統，進行         子網隔離等手段。

應用系統安全：在程序開發時，對已知經常使用問題，使用正確的方式，在代碼層面解決掉。防止跨站腳本攻擊（XSS），注入攻擊，跨站請求僞造（CSRF），錯誤信息，HTML註釋，文件上傳，路徑遍歷等。還可使用Web應用防火牆（好比：ModSecurity），進行安全漏洞掃描等措施，增強應用級別的安全。

數據保密安全：存儲安全（存在在可靠的設備，實時，定時備份），保存安全（重要的信息加密保存，選擇合適的人員複雜保存和檢測等），傳輸安全（防止數據竊取和數據篡改）；

經常使用的加解密算法（單項散列加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。

9、敏捷性

網站的架構設計，運維管理要適應變化，提供高伸縮性，高擴展性。方便的應對快速的業務發展，突增高流量訪問等要求。

除上面介紹的架構要素外，還須要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，運維統一塊兒來，隨需應變，快速響應。

10、大型架構舉例
<ignore_js_op> 

以上採用七層邏輯架構，第一層客戶層，第二層前端優化層，第三層應用層，第四層服務層，第五層數據存儲層，第六層大數據存儲層，第七層大數據處理層。

客戶層：支持PC瀏覽器和手機APP。差異是手機APP能夠直接訪問經過IP訪問，反向代理服務器。

前端層：使用DNS負載均衡，CDN本地加速以及反向代理服務；

應用層：網站應用集羣；按照業務進行垂直拆分，好比商品應用，會員中心等；

服務層：提供公用服務，好比用戶服務，訂單服務，支付服務等；

數據層：支持關係型數據庫集羣（支持讀寫分離），NOSQL集羣，分佈式文件系統集羣；以及分佈式Cache；

大數據存儲層：支持應用層和服務層的日誌數據收集，關係數據庫和NOSQL數據庫的結構化和半結構化數據收集；

大數據處理層：經過Mapreduce進行離線數據分析或Storm實時數據分析，並將處理後的數據存入關係型數據庫。（實際使用中，離線數據和實時數據會按照業務要求進行分類處理，並存入不一樣的數據庫中，供應用層或服務層使用）。

 

轉自：http://www.dmyc8.com/thread-1718-1-1.html