支撐千萬級，大型電商分佈式架構解析

1. 大型分佈式網站架構概述

1.1. 大型網站的特色

• 用戶多，分佈普遍

• 大流量，高併發

• 海量數據，服務高可用

• 安全環境惡劣，易受網絡攻擊

• 功能多，變動快，頻繁發佈

• 從小到大，漸進發展

• 以用戶爲中心

• 免費服務，付費體驗

 

1.2. 大型網站架構目標

• 高性能：提供快速的訪問體驗。

• 高可用：網站服務一直能夠正常訪問。

• 可伸縮：經過硬件增長/減小，提升/下降處理能力。

• 安全性：提供網站安全訪問和數據加密，安全存儲等策略。

• 擴展性：方便的經過新增/移除方式，增長/減小新的功能/模塊。

• 敏捷性：隨需應變，快速響應；

 

1.3. 大型網站架構模式

• 分層：通常可分爲，應用層，服務層，數據層，管理層，分析層；

• 分割：通常按照業務/模塊/功能特色進行劃分，好比應用層分爲首頁，用戶中心。

• 分佈式：將應用分開部署（好比多臺物理機），經過遠程調用協同工做。

• 集羣：一個應用/模塊/功能部署多份（如：多臺物理機），經過負載均衡共同提供對外訪問。

• 緩存：將數據放在距離應用或用戶最近的位置，加快訪問速度。

• 異步：將同步的操做異步化。客戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。通常指：請求——響應——通知 模式。

• 冗餘：增長副本，提升可用性，安全性，性能。

• 安全：對已知問題有有效的解決方案，對未知/潛在問題創建發現和防護機制。

• 自動化：將重複的，不須要人工參與的事情，經過工具的方式，使用機器完成。

• 敏捷性：積極接受需求變動，快速響應業務發展需求。

 

1.4. 高性能架構

以用戶爲中心，提供快速的網頁訪問體驗。主要參數有較短的響應時間，較大的併發處理能力，較高的吞吐量，穩定的性能參數。

可分爲前端優化，應用層優化，代碼層優化，存儲層優化。

前端優化：網站業務邏輯以前的部分；

瀏覽器優化：減小 Http 請求數，使用瀏覽器緩存，啓用壓縮，Css Js 位置，Js 異步，減小 Cookie 傳輸；

CDN 加速，反向代理；

應用層優化：處理網站業務的服務器。使用緩存，異步，集羣

代碼優化：合理的架構，多線程，資源複用（對象池，線程池等），良好的數據結構，JVM 調優，單例，Cache 等；

存儲優化：緩存，固態硬盤，光纖傳輸，優化讀寫，磁盤冗餘，分佈式存儲（HDFS），NOSQL 等；

 

1.5. 高可用架構

大型網站應該在任什麼時候候均可以正常訪問。正常提供對外服務。由於大型網站的複雜性，分佈式，廉價服務器，開源數據庫，操做系統等特色。要保證高可用是很困難的，也就是說網站的故障是不可避免的。

如何提升可用性，就是須要迫切解決的問題。首先，須要從架構級別，在規劃的時候，就考慮可用性。行業內通常用幾個 9 表示可用性指標。好比四個 9（99.99），一年內容許的不可用時間是 53 分鐘。

不一樣層級使用的策略不一樣，通常採用冗餘備份和失效轉移解決高可用問題。

應用層：通常設計爲無狀態的，對於每次請求，使用哪一臺服務器處理是沒有影響的。通常使用負載均衡技術（須要解決 Session 同步問題），實現高可用。

服務層：負載均衡，分級管理，快速失敗（超時設置），異步調用，服務降級，冪等設計等。

數據層：冗餘備份（冷，熱備[同步，異步]，溫備），失效轉移（確認，轉移，恢復）。數據高可用方面著名的理論基礎是 CAP 理論（持久性，可用性，數據一致性[強一致，用戶一致，最終一致]）

 

1.6. 可伸縮架構

伸縮性是指在不改變原有架構設計的基礎上，經過添加/減小硬件（服務器）的方式，提升/下降系統的處理能力。

應用層：對應用進行垂直或水平切分。而後針對單一功能進行負載均衡（DNS,HTTP[反向代理],IP,鏈路層）。

服務層：與應用層相似；

數據層：分庫，分表，NOSQL 等；經常使用算法 Hash，一致性 Hash。

 

1.7. 可擴展架構

能夠方便的進行功能模塊的新增/移除，提供代碼/模塊級別良好的可擴展性。

模塊化，組件化：高內聚，內耦合，提升複用性，擴展性。

穩定接口：定義穩定的接口，在接口不變的狀況下，內部結構能夠「隨意」變化。

設計模式：應用面向對象思想，原則，使用設計模式，進行代碼層面的設計。

消息隊列：模塊化的系統，經過消息隊列進行交互，使模塊之間的依賴解耦。

分佈式服務：公用模塊服務化，提供其餘系統使用，提升可重用性，擴展性。

 

1.8. 安全架構

對已知問題有有效的解決方案，對未知/潛在問題創建發現和防護機制。對於安全問題，首先要提升安全意識，創建一個安全的有效機制，從政策層面，組織層面進行保障。好比服務器密碼不能泄露，密碼每個月更新，而且三次內不能重複；每週安全掃描等。以制度化的方式，增強安全體系的建設。同時，須要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，數據保密安全等。

基礎設施安全：硬件採購，操做系統，網絡環境方面的安全。通常採用，正規渠道購買高質量的產品，選擇安全的操做系統，及時修補漏洞，安裝殺毒軟件防火牆。防範病毒，後門。設置防火牆策略，創建 DDOS 防護系統，使用攻擊檢測系統，進行 子網隔離等手段。

應用系統安全：在程序開發時，對已知經常使用問題，使用正確的方式，在代碼層面解決掉。防止跨站腳本攻擊（XSS），注入攻擊，跨站請求僞造（CSRF），錯誤信息，HTML 註釋，文件上傳，路徑遍歷等。還可使用 Web 應用防火牆（好比：ModSecurity），進行安全漏洞掃描等措施，增強應用級別的安全。

數據保密安全：存儲安全（存在在可靠的設備，實時，定時備份），保存安全（重要的信息加密保存，選擇合適的人員複雜保存和檢測等），傳輸安全（防止數據竊取和數據篡改）；

經常使用的加解密算法（單項散列加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。

 

1.9. 敏捷性

網站的架構設計，運維管理要適應變化，提供高伸縮性，高擴展性。方便的應對快速的業務發展，突增高流量訪問等要求。

除上面介紹的架構要素外，還須要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，運維統一塊兒來，隨需應變，快速響應。

 

1.10. 大型架構舉例

以上採用七層邏輯架構，第一層客戶層，第二層前端優化層，第三層應用層，第四層服務層，第五層數據存儲層，第六層大數據存儲層，第七層大數據處理層。

客戶層：支持 PC 瀏覽器和手機 APP。差異是手機 APP 能夠直接訪問經過 IP 訪問，反向代理服務器。

前端層：使用 DNS 負載均衡，CDN 本地加速以及反向代理服務；

應用層：網站應用集羣；按照業務進行垂直拆分，好比商品應用，會員中心等；

服務層：提供公用服務，好比用戶服務，訂單服務，支付服務等；

數據層：支持關係型數據庫集羣（支持讀寫分離），NOSQL 集羣，分佈式文件系統集羣；以及分佈式 Cache；

大數據存儲層：支持應用層和服務層的日誌數據收集，關係數據庫和 NOSQL 數據庫的結構化和半結構化數據收集；

大數據處理層：經過 Mapreduce 進行離線數據分析或 Storm 實時數據分析，並將處理後的數據存入關係型數據庫。（實際使用中，離線數據和實時數據會按照業務要求進行分類處理，並存入不一樣的數據庫中，供應用層或服務層使用）。

 

2. 電商網站架構案例

2.1. 網站初級架構

通常網站，剛開始的作法，是三臺服務器，一臺部署應用，一臺部署數據庫，一臺部署 NFS 文件系統。

這是前幾年比較傳統的作法，以前見到一個網站 10 萬多會員，垂直服裝設計門戶，N 多圖片。使用了一臺服務器部署了應用，數據庫以及圖片存儲。出現了不少性能問題。

以下圖：

可是，目前主流的網站架構已經發生了翻天覆地的變化。通常都會採用集羣的方式，進行高可用設計。至少是下面這個樣子。

（1） 使用集羣對應用服務器進行冗餘，實現高可用；（負載均衡設備可與應用一塊部署）

使用數據庫主備模式，實現數據備份和高可用；

 

2.2. 系統容量預估

預估步驟：

（1） 註冊用戶數-日均 UV 量-每日的 PV 量-天天的併發量；

（2） 峯值預估：日常量的 2~3 倍；

（3） 根據併發量（併發，事務數），存儲容量計算系統容量。

客戶需求：3~5 年用戶數達到 1000 萬註冊用戶；

每秒併發數預估：

（1） 天天的 UV 爲 200 萬（二八原則）；

（2） 每日天天點擊瀏覽 30 次；

（3） PV 量：200*30=6000 萬；

（4） 集中訪問量：240.2=4.8 小時會有 6000 萬0.8=4800 萬（二八原則）；

（5） 每分併發量：4.8*60=288 分鐘，每分鐘訪問 4800/288=16.7 萬（約等於）；

（6） 每秒併發量：16.7 萬/60=2780（約等於）；

（7） 假設：高峯期爲日常值的三倍，則每秒的併發數能夠達到 8340 次。

（8） 1 毫秒=1.3 次訪問；

沒好好學數學後悔了吧？！（不知道以上算是否有錯誤，呵呵~~）

服務器預估：（以 tomcat 服務器舉例）

（1） 按一臺 web 服務器，支持每秒 300 個併發計算。日常須要 10 臺服務器（約等於）；[tomcat 默認配置是 150]

（2） 高峯期：須要 30 臺服務器；

容量預估：70/90 原則

系統 CPU 通常維持在 70%左右的水平，高峯期達到 90%的水平，是不浪費資源，並比較穩定的。內存，IO 相似。

以上預估僅供參考，由於服務器配置，業務邏輯複雜度等都有影響。在此 CPU，硬盤，網絡等再也不進行評估。

 

2.3. 網站架構分析

根據以上預估，有幾個問題：

• 須要部署大量的服務器，高峯期計算，可能要部署 30 臺 Web 服務器。而且這三十臺服務器，只有秒殺，活動時纔會用到，存在大量的浪費。

• 全部的應用部署在同一臺服務器，應用之間耦合嚴重。須要進行垂直切分和水平切分。

• 大量應用存在冗餘代碼

• 服務器 SESSION 同步耗費大量內存和網絡帶寬

• 數據須要頻繁訪問數據庫，數據庫訪問壓力巨大。

大型網站通常須要作如下架構優化（優化是架構設計時，就要考慮的，通常從架構/代碼級別解決，調優主要是簡單參數的調整，好比 JVM 調優；若是調優涉及大量代碼改造，就不是調優了，屬於重構）：

• 業務拆分

• 應用集羣部署（分佈式部署，集羣部署和負載均衡）

• 多級緩存

• 單點登陸（分佈式 Session）

• 數據庫集羣（讀寫分離，分庫分表）

• 服務化

• 消息隊列

• 其餘技術

 

2.4. 網站架構優化

業務拆分

根據業務屬性進行垂直切分，劃分爲產品子系統，購物子系統，支付子系統，評論子系統，客服子系統，接口子系統（對接如進銷存，短信等外部系統）。

根據業務子系統進行等級定義，可分爲核心系統和非核心繫統。核心系統：產品子系統，購物子系統，支付子系統；非核心：評論子系統，客服子系統，接口子系統。

業務拆分做用：提高爲子系統可由專門的團隊和部門負責，專業的人作專業的事，解決模塊之間耦合以及擴展性問題；每一個子系統單獨部署，避免集中部署致使一個應用掛了，所有應用不可用的問題。

等級定義做用：用於流量突發時，對關鍵應用進行保護，實現優雅降級；保護關鍵應用不受到影響。

拆分後的架構圖：

參考部署方案 2 

（1） 如上圖每一個應用單獨部署

（2） 核心系統和非核心繫統組合部署

 

應用集羣部署（分佈式，集羣，負載均衡）

分佈式部署：將業務拆分後的應用單獨部署，應用直接經過 RPC 進行遠程通訊；

集羣部署：電商網站的高可用要求，每一個應用至少部署兩臺服務器進行集羣部署；

負載均衡：是高可用系統必須的，通常應用經過負載均衡實現高可用，分佈式服務經過內置的負載均衡實現高可用，關係型數據庫經過主備方式實現高可用。

集羣部署後架構圖：

多級緩存

緩存按照存放的位置通常可分爲兩類：本地緩存和分佈式緩存。本案例採用二級緩存的方式，進行緩存的設計。一級緩存爲本地緩存，二級緩存爲分佈式緩存。（還有頁面緩存，片斷緩存等，那是更細粒度的劃分）

一級緩存，緩存數據字典，和經常使用熱點數據等基本不可變/有規則變化的信息，二級緩存緩存須要的全部緩存。當一級緩存過時或不可用時，訪問二級緩存的數據。若是二級緩存也沒有，則訪問數據庫。

緩存的比例，通常 1:4，便可考慮使用緩存。（理論上是 1:2 便可）。

根據業務特性可以使用如下緩存過時策略：

（1） 緩存自動過時；

（2） 緩存觸發過時；

 

單點登陸（分佈式 Session）

系統分割爲多個子系統，獨立部署後，不可避免的會遇到會話管理的問題。通常可採用 Session 同步，Cookies，分佈式 Session 方式。電商網站通常採用分佈式 Session 實現。

再進一步能夠根據分佈式 Session，創建完善的單點登陸或帳戶管理系統。

流程說明

（1） 用戶第一次登陸時，將會話信息（用戶 Id 和用戶信息），好比以用戶 Id 爲 Key，寫入分佈式 Session；

（2） 用戶再次登陸時，獲取分佈式 Session，是否有會話信息，若是沒有則調到登陸頁；

（3） 通常採用 Cache 中間件實現，建議使用 Redis，由於它有持久化功能，方便分佈式 Session 宕機後，能夠從持久化存儲中加載會話信息；

（4） 存入會話時，能夠設置會話保持的時間，好比 15 分鐘，超事後自動超時；

結合 Cache 中間件，實現的分佈式 Session，能夠很好的模擬 Session 會話。

 

數據庫集羣（讀寫分離，分庫分表）

大型網站須要存儲海量的數據，爲達到海量數據存儲，高可用，高性能通常採用冗餘的方式進行系統設計。通常有兩種方式讀寫分離和分庫分表。

讀寫分離：通常解決讀比例遠大於寫比例的場景，可採用一主一備，一主多備或多主多備方式。

本案例在業務拆分的基礎上，結合分庫分表和讀寫分離。以下圖：

（1） 業務拆分後：每一個子系統須要單獨的庫；

（2） 若是單獨的庫太大，能夠根據業務特性，進行再次分庫，好比商品分類庫，產品庫；

（3） 分庫後，若是表中有數據量很大的，則進行分表，通常能夠按照 Id，時間等進行分表；（高級的用法是一致性 Hash）

（4） 在分庫，分表的基礎上，進行讀寫分離；

相關中間件可參考 Cobar（阿里，目前已不在維護），TDDL（阿里），Atlas（奇虎 360），MyCat（在 Cobar 基礎上，國內不少牛人，號稱國內第一開源項目）。

分庫分表後序列的問題，JOIN，事務的問題，會在分庫分表主題分享中，介紹。

 

服務化

將多個子系統公用的功能/模塊，進行抽取，做爲公用服務使用。好比本案例的會員子系統就能夠抽取爲公用的服務。

消息隊列

消息隊列能夠解決子系統/模塊之間的耦合，實現異步，高可用，高性能的系統。是分佈式系統的標準配置。本案例中，消息隊列主要應用在購物，配送環節。

（1） 用戶下單後，寫入消息隊列，後直接返回客戶端；

（2） 庫存子系統：讀取消息隊列信息，完成減庫存；

（3） 配送子系統：讀取消息隊列信息，進行配送；

目前使用較多的 MQ 有 Active MQ,Rabbit MQ,Zero MQ，MS MQ 等，須要根據具體的業務場景進行選擇。建議能夠研究下 Rabbit MQ。

 

其餘架構（技術）

除了以上介紹的業務拆分，應用集羣，多級緩存，單點登陸，數據庫集羣，服務化，消息隊列外。還有 CDN，反向代理，分佈式文件系統，大數據處理等系統。

此處不詳細介紹，你們能夠問度娘/Google，有機會的話也能夠分享給你們。

 

2.5. 架構總結

以上是本次分享的架構總結，其中細節可參考前面分享的內容。其中還有不少能夠優化和細化的地方，由於是案例分享，主要針對重要部分作了介紹，工做中須要你們根據具體的業務場景進行架構設計。

以上是電商網站架構案例的分享一共有三篇，從電商網站的需求，到單機架構，逐步演變爲經常使用的，可供參考的分佈式架構的原型。除具有功能需求外，還具有必定的高性能，高可用，可伸縮，可擴展等非功能質量需求（架構目標）。

免費Java資料須要本身領取，涵蓋了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo高併發分佈式等教程，一共30G。 
傳送門： https://mp.weixin.qq.com/s/JzddfH-7yNudmkjT0IRL8Q