以電商網站爲例，談大型分佈式架構設計與優化

以電商網站爲例，談大型分佈式架構設計與優化

本文大綱：

1. 使用電商案例的緣由

2. 電商網站需求

3. 網站初級架構

4. 系統容量估算

5. 網站架構分析

6. 網站架構優化

本文主題爲電商網站架構案例，將介紹如何從電商網站的需求，到單機架構，逐步演變爲經常使用的、可供參考的分佈式架構原型。除具有功能需求外，還具有必定的高性能、高可用、可伸縮、可擴展等非功能質量需求（架構目標）。

根據實際須要，進行改造、擴展、支持千萬PV，是沒問題的。

1、使用電商案例的緣由

分佈式大型網站，目前看主要有幾類：

1. 大型門戶（好比網易、新浪等）；

2. SNS網站（好比校內、開心網等）；

3. 電商網站（好比阿里巴巴、京東商城、國美在線、汽車之家等）。

大型門戶通常是新聞類信息，可使用CDN、靜態化等方式優化。而開心網等交互性比較多，可能會引入更多的NoSQL、分佈式緩存、使用高性能的通訊框架等。電商網站具有以上兩類的特色，好比產品詳情能夠採用CDN，靜態化，交互性高的須要採用NoSQL等技術。所以，咱們採用電商網站做爲案例，進行分析。

2、電商網站需求

客戶需求：

• 創建一個全品類的電子商務網站（B2C），用戶能夠在線購買商品，能夠在線支付，也能夠貨到付款；

• 用戶購買時能夠在線與客服溝通；

• 用戶收到商品後，能夠給商品打分和評價；

• 目前有成熟的進銷存系統，須要與網站對接；

• 但願可以支持3~5年，業務的發展；

• 預計3~5年用戶數達到1000萬；

• 按期舉辦雙十一、雙十二、三八男人節等活動；

• 其餘的功能參考京東或國美在線等網站。

客戶就是客戶，不會告訴你具體要什麼，只會告訴你他想要什麼，咱們不少時候要引導、挖掘客戶的需求。好在提供了明確的參考網站。所以，下一步要進行大量的分析，結合行業以及參考網站，給客戶提供方案。其它的這裏暫不展開。

需求功能矩陣

需求管理傳統的作法，會使用例圖或模塊圖（需求列表）進行需求的描述。這樣作經常忽視掉一個很重要的需求（非功能需求），所以推薦你們使用需求功能矩陣，進行需求描述。

本電商網站的需求矩陣以下：

以上是對電商網站需求的簡單舉例，目的是說明：

1. 需求分析的時候，要全面，大型分佈式系統重點考慮非功能需求；

2. 描述一個簡單的電商需求場景，使你們對下一步的分析設計有個依據。

3、網站初級架構

通常網站剛開始的作法，是三臺服務器，一臺部署應用，一臺部署數據庫，一臺部署NFS文件系統。

這是前幾年比較傳統的作法，以前見到一個網站10萬多會員，垂直服裝設計門戶，N多圖片。使用了一臺服務器部署了應用，數據庫以及圖片存儲。出現了不少性能問題。以下圖：

可是，目前主流的網站架構已經發生了翻天覆地的變化。通常都會採用集羣的方式，進行高可用設計。至少是下面這個樣子：

1. 使用集羣對應用服務器進行冗餘，實現高可用（負載均衡設備可與應用一塊部署）；

2. 使用數據庫主備模式，實現數據備份和高可用。

4、系統容量預估

預估步驟：

1. 註冊用戶數-日均UV量-每日的PV量-天天的併發量；

2. 峯值預估：日常量的2~3倍；

3. 根據併發量（併發，事務數），存儲容量計算系統容量。

客戶需求：3~5年用戶數達到1000萬註冊用戶；

每秒併發數預估：

1. 天天的UV爲200萬（二八原則）；

2. 每日天天點擊瀏覽30次；

3. PV量：200*30=6000萬；

4. 集中訪問量：24*0.2=4.8小時會有6000萬*0.8=4800萬（二八原則）；

5. 每分併發量：4.8*60=288分鐘，每分鐘訪問4800/288=16.7萬（約等於）；

6. 每秒併發量：16.7萬/60=2780（約等於）；

7. 假設：高峯期爲日常值的三倍，則每秒的併發數能夠達到8340次；

8. 1毫秒=1.3次訪問。

沒好好學數學後悔了吧？！（不知道以上算是否有錯誤，呵呵~~）

服務器預估（以Tomcat服務器舉例）：

1. 按一臺Web服務器，支持每秒300個併發計算。日常須要10臺服務器（約等於）；[Tomcat默認配置是150]

2. 高峯期：須要30臺服務器；

容量預估：70/90原則

系統CPU通常維持在70%左右的水平，高峯期達到90%的水平，是不浪費資源，並比較穩定的。內存，IO相似。

以上預估僅供參考，由於服務器配置，業務邏輯複雜度等都有影響。在此CPU、硬盤、網絡等再也不進行評估。

5、網站架構分析

根據以上預估，有幾個問題：

• 須要部署大量的服務器，高峯期計算，可能要部署30臺Web服務器。而且這三十臺服務器，只有秒殺，活動時纔會用到，存在大量的浪費。

• 全部的應用部署在同一臺服務器，應用之間耦合嚴重。須要進行垂直切分和水平切分。

• 大量應用存在冗餘代碼。

• 服務器Session同步耗費大量內存和網絡帶寬。

• 數據須要頻繁訪問數據庫，數據庫訪問壓力巨大。

大型網站通常須要作如下架構優化（優化是架構設計時，就要考慮的，通常從架構/代碼級別解決，調優主要是簡單參數的調整，好比JVM調優；若是調優涉及大量代碼改造，就不是調優了，屬於重構）：

• 業務拆分

• 應用集羣部署（分佈式部署，集羣部署和負載均衡）

• 多級緩存

• 單點登陸（分佈式Session）

• 數據庫集羣（讀寫分離，分庫分表）

• 服務化

• 消息隊列

• 其它技術

六.網站架構優化

1

業務拆分

根據業務屬性進行垂直切分，劃分爲產品子系統、購物子系統、支付子系統、評論子系統、客服子系統、接口子系統（對接如進銷存、短信等外部系統）。

根據業務子系統進行等級定義，可分爲核心系統和非核心繫統。

• 核心系統：產品子系統、購物子系統、支付子系統；

• 非核心：評論子系統、客服子系統、接口子系統。

業務拆分做用：提高爲子系統可由專門的團隊和部門負責，專業的人作專業的事，解決模塊之間耦合以及擴展性問題；每一個子系統單獨部署，避免集中部署致使一個應用掛了，所有應用不可用的問題。

等級定義做用：用於流量突發時，對關鍵應用進行保護，實現優雅降級；保護關鍵應用不受到影響。

拆分後的架構圖：

參考部署方案2

1. 如上圖每一個應用單獨部署

2. 核心系統和非核心繫統組合部署

2

應用集羣部署（分佈式，集羣，負載均衡）

分佈式部署：將業務拆分後的應用單獨部署，應用直接經過RPC進行遠程通訊；

集羣部署：電商網站的高可用要求，每一個應用至少部署兩臺服務器進行集羣部署；

負載均衡：高可用系統必須的，通常應用經過負載均衡實現高可用，分佈式服務經過內置的負載均衡實現高可用，關係型數據庫經過主備方式實現高可用。

集羣部署後架構圖：

3

多級緩存

緩存按照存放的位置通常可分爲兩類本地緩存和分佈式緩存。本案例採用二級緩存的方式，進行緩存的設計。一級緩存爲本地緩存，二級緩存爲分佈式緩存。（還有頁面緩存，片斷緩存等，那是更細粒度的劃分）

一級緩存，緩存數據字典，和經常使用熱點數據等基本不可變/有規則變化的信息；二級緩存緩存須要的全部緩存。當一級緩存過時或不可用時，訪問二級緩存的數據。若是二級緩存也沒有，則訪問數據庫。

緩存的比例，通常1:4，便可考慮使用緩存。（理論上是1:2便可）。

根據業務特性可以使用如下緩存過時策略：

1. 緩存自動過時

2. 緩存觸發過時

4

單點登陸（分佈式Session）

系統分割爲多個子系統，獨立部署後，不可避免地會遇到會話管理的問題。通常可採用Session同步，Cookies，分佈式Session方式。電商網站通常採用分佈式Session實現。

再進一步能夠根據分佈式Session，創建完善的單點登陸或帳戶管理系統。

流程說明：

1. 用戶第一次登陸時，將會話信息（用戶Id和用戶信息），好比以用戶ID爲Key，寫入分佈式Session；

2. 用戶再次登陸時，獲取分佈式Session，是否有會話信息，若是沒有則調到登陸頁；

3. 通常採用Cache中間件實現，建議使用Redis，所以它有持久化功能，方便分佈式Session宕機後，能夠從持久化存儲中加載會話信息；

4. 存入會話時，能夠設置會話保持的時間，好比15分鐘，超事後自動超時；

結合Cache中間件，實現的分佈式Session，能夠很好的模擬Session會話。

5

數據庫集羣（讀寫分離，分庫分表）

大型網站須要存儲海量的數據，爲達到海量數據存儲，高可用，高性能通常採用冗餘的方式進行系統設計。通常有兩種方式讀寫分離和分庫分表。

讀寫分離：通常解決讀比例遠大於寫比例的場景，可採用一主一備，一主多備或多主多備方式。

本案例在業務拆分的基礎上，結合分庫分表和讀寫分離。以下圖：

1. 業務拆分後：每一個子系統須要單獨的庫；

2. 若是單獨的庫太大，能夠根據業務特性，進行再次分庫，好比商品分類庫，產品庫；

3. 分庫後，若是表中有數據量很大的，則進行分表，通常能夠按照ID，時間等進行分表；（高級的用法是一致性Hash）；

4. 在分庫，分表的基礎上，進行讀寫分離。

相關中間件可參考Cobar（阿里，目前已不在維護），TDDL（阿里），Atlas（奇虎360），MyCat（在Cobar基礎上，國內不少牛人，號稱國內第一開源項目）。

6

服務化

將多個子系統公用的功能/模塊，進行抽取，做爲公用服務使用。好比本案例的會員子系統就能夠抽取爲公用的服務。

7

消息隊列

消息隊列能夠解決子系統/模塊之間的耦合，實現異步，高可用，高性能的系統，是分佈式系統的標準配置。本案例中，消息隊列主要應用在購物，配送環節。

1. 用戶下單後，寫入消息隊列，後直接返回客戶端；

2. 庫存子系統：讀取消息隊列信息，完成減庫存；

3. 配送子系統：讀取消息隊列信息，進行配送。

目前使用較多的MQ有Active MQ、Rabbit MQ、Zero MQ、MS MQ等，須要根據具體的業務場景進行選擇。建議能夠研究下RabbitMQ。

更多詳情可參考社羣過往文章：

• RabbitMQ高級指南：從配置、使用到高可用集羣搭建
• 大話消息隊列的流派之爭
• 一網打盡消息隊列在大型分佈式系統中的實戰精髓
• 網易蜂巢微服務架構：用RabbitMQ實現輕量級通訊

8

其它架構（技術）

除了以上介紹的業務拆分、應用集羣、多級緩存、單點登陸、數據庫集羣、服務化、消息隊列外。還有CDN、反向代理、分佈式文件系統、大數據處理等系統。

此處不詳細介紹，你們能夠問度娘/Google，有機會的話也能夠分享給你們。

總結

以上是本次分享的架構總結，細節可參考前面分享的內容。其中還有不少能夠優化和細化的地方，由於是案例分享，主要針對重要部分作了介紹，工做中須要你們根據具體的業務場景進行架構設計。但願能對你們有所啓發。