《大型網站技術架構核心原理與案例分析》讀書筆記（二）

2.1 網站架構模式

爲了解決大型網站面臨的高併發訪問，海量數據處理，高可靠運行等一系列問題與挑戰，大型互聯網公司在實踐中提出了許多解決方案，以實現網站高性能，高可用，易伸縮，可擴展，安全等各類技術架構目標。這些解決方案又被更多網站重複使用，從而逐漸造成大型網站架構模式。

2.1.1 分層

分層是企業應用系統中最多見的一種架構模式，將系統在橫向維度上切分紅幾個部分，每一個部分負責一部分相對比較簡單的職責，而後經過上層對下層的依賴和調用組成一個完整的系統。

分層結構在計算機世界中無處不在，網絡的7層通訊協議是一種分層結構；計算機硬件、操做系統、應用軟件也能夠看做是一種分層結構。在大型網站架構中也採用分層結構，將網站軟件系統分爲應用層、服務層、數據層，如圖表2.1所示。

分層的優勢：更好的將一個龐大的軟件系統切分紅不一樣的部分，便於分工合做開發和維護；各層之間具備必定的獨立性，只有維持調用接口不變，各層能夠根據具體問題獨立演化發展而不須要其餘層必須做出相應的調整。

遵循原則：必須合理規劃層次邊界和接口，在開發過程當中，嚴格遵循分層架構的約束，禁止跨層次調用及逆向調用。

分層架構師邏輯上的，在物理部署上，三層結構能夠部署在同一個物理機器上，但隨着網站業務的發展，必然須要對已經分層的模塊分離部署，即三層結構分別部署在不一樣的服務器上，使網站擁有更多的計算資源以應對愈來愈多的用戶訪問。

2.1.2 分割

若是說分層是將軟件在橫向方面進行切分，那麼分割就是在縱向方面對軟件進行切分。

網站越大，功能越複雜，服務和數據處理的種類也越多，講這些不一樣的功能和服務分割開來，包裝成高內聚低耦合的模塊單元，一方面有助於軟件的開發和維護；另外一方面，便於不一樣模塊的分佈式部署，提升網站的併發處理能力和功能擴展能力。

大型網站的分割力度可能會很小。好比在應用層，將不一樣業務進行分割，例如將購物，論壇，搜索，廣告分割成不一樣的應用，由獨立的團隊負責，部署在不一樣的服務器上。

2.1.3 分佈式

對於大型網站，分層和分割的一個主要目的是爲了切分後的模塊便於分佈式部署，即將不一樣模塊部署在不一樣的服務器上，經過遠程調用協同工做。分佈式意味着可使用更多的計算機完成一樣的功能，計算機越多，CPU、內存、存儲資源也就越多，可以處理的併發訪問和數據量就越大，進而可以爲更多的用戶提供服務。

經常使用的分佈式方案有如下幾種。

分佈式應用和服務

將分層 分割後的應用和服務模塊分佈式部署，除了能夠改善網站性能和併發性、加快開發和發佈速度、減小數據庫鏈接資源消耗外；還可使不一樣應用複用共同的服務，便於業務功能拓展。

分佈式靜態資源

網站的靜態資源如JS，CSS，Logo圖片等資源獨立分佈式部署，並採用獨立的域名，即人們常說的動靜分離。靜態資源分佈式部署能夠減輕應用服務器的負載壓力；經過使用獨立域名加快瀏覽器併發加載的速度；由負責用戶體驗的團隊進行開發維護有利於網站分工合做，使不一樣技術工種術業有專攻。

分佈式數據存儲

大型網站須要處理以P爲單位的海量數據，單臺計算機沒法提供如此大的存儲空間，這些數據須要分佈式存儲。除了對傳統的關係數據庫進行分佈式部署外，爲網站應用而生的各類NoSQL產品幾乎都是分佈式的。

分佈式計算

嚴格說來，應用、服務、實時數據處理都是計算，網站除了要處理這些在線業務，還有很大一部分用戶沒有直觀感覺的後臺業務要處理，包括搜索引擎的索引構建、數據倉庫的數據分析統計等。這些業務的計算規模很是龐大，目前網站廣泛使用Hadoop及其MapReduce分佈式計算框架進行此類批處理計算，其特色是移動計算和不是移動數據，將計算程序分發到數據所在位置以加速計算和分佈式計算。

此外，還有能夠支持現場服務期配置實時更新的分佈式配置；分佈式環境下實現併發和協同的分佈式鎖；支持雲存儲的分佈式文件系統等。

2.1.4 集羣

使用分佈式雖然已經將分層和分割後的模塊獨立部署，可是對於用戶訪問集中地模塊，還須要將獨立部署的服務器集羣化，即多臺服務器部署相同應用構成一個集羣，經過負載均衡設備共同對外提供服務。

由於服務器集羣有更多服務器提供相同的服務，所以能夠提供更好的併發特性，當有更多用戶訪問的時候，只須要想集羣中加入新的及其便可。同事由於一個應用由多臺服務器提供，當某臺服務器發生故障時，負載均衡設備或者系統的失效轉移機制會將請求轉發到集羣中其餘服務器上，是服務器故障不影響用戶使用。因此在網站應用中，及時是訪問量很小的分佈式應用和服務，也至少要部署兩臺服務器構成一個小的集羣，目的就是提升系統的可用性。

2.1.5 緩存

緩存就是將數據存放在距離計算最近的位置以加快處理速度。緩存是改啥軟件性能的第一手段，如今CPU愈來愈快的一個重要因素就是使用了更多的緩存，在複雜的軟件設計中，緩存幾乎是無處不在。大型網站架構設計在不少方面都使用了緩存設計。

CDN

內容分發網絡，部署在距離終端用戶最近的網絡服務商，用戶的網絡請求老是先到達他的網絡服務商裏，在這裏緩存網站的一些靜態資源，能夠就近以最快速度返回給用戶，如視頻網站和門戶網站會將用戶訪問量大的熱點內容緩存在CDN。

反向代理

反向代理數網站前端架構的一部分，部署在網站的前端，當用戶請求到達網站的數據中心時，最早訪問到的就是反向代理服務器，這裏緩存網站的靜態資源，無需將請求繼續轉發給應用服務器就能返回給用戶。

本地緩存

在應用服務器本地緩存着熱點數據，應用程序能夠再本機內存中直接訪問數據，而無需訪問數據庫。

分佈式緩存

大型網站的數據量很是龐大，即便只緩存一小部分，須要的內存空間也不是單機能承受的，因此除了本地緩存，還須要分佈式緩存，將數據緩存在一個專門的分佈式緩存集羣中，應用程序經過網絡通訊訪問緩存數據。

2.1.6 異步

異步是下降軟件耦合性的一個手段。業務之間傳遞消息不是同步調用，而是將一個業務操做分紅多個階段，每一個階段之間經過共享數據的方式異步執行進行協做。

在單一服務器內部可經過多線程共享內存隊列的方式實現異步，處在業務操做前面的線程將輸出寫入到隊列，後面的線程從隊列中讀取數據進行處理；在分佈式系統中，多個服務器集羣經過分佈式消息隊列實現異步，分佈式消息隊列能夠看做內存隊列的分佈式部署。

異步架構是典型的生產者消費者模式，二者不存在直接調用，只要保持數據結構不變，彼此功能實現能夠隨意變化而不互相影響，這對網站擴展新功能很是便利。除此以外，使用異步消息隊列還有以下的特性。

提升系統可用性

消費者服務器發生故障，數據會在消息隊列服務器中存儲堆積，生產者服務器能夠繼續處理業務請求，系統總體表現無端障。消費者服務器恢復正常後，繼續處理消息隊列中的數據。

加快網站響應速度

處在業務處理前端的生產者服務器在處理完業務請求後，將數據寫入消息隊列，不須要等待消費者服務器處理就能夠返回，響應延遲減小。

消除併發訪問高峯

用戶訪問網站是隨機的，存在訪問高峯和低谷，即便網站按照通常訪問高峯進行規劃和部署，也依然會出現突發事件，好比購物網站的促銷互動，微博上的熱點事件，都會形成網站併發訪問忽然增大，這可能會形成整個網站負載太重，響應延遲，嚴重時甚至會出現服務宕機的狀況。使用消息隊列將忽然增長的訪問請求數據放入消息隊列中，等待消費者服務器依次處理，就不會對整個網站負載形成太大的壓力。

但須要注意的是，使用異步方式處理業務可能會對用戶體驗，業務流程形成影響，須要網站產品設計方面的支持。

2.1.7 冗餘

網站須要7*24小時連續運行，爲了保證在服務器宕機的狀況下依然能夠繼續提供服務，不丟失數據，就須要必定程度的服務器冗餘運行，數據冗餘備份，這樣當某臺服務器宕機時，能夠將其上的服務和數據訪問轉移到其餘機器上。

訪問和負載很小的服務也必須部署至少兩臺服務器構成的一個集羣，其目的就是經過冗餘實現服務高可用。數據庫除了按期備份，存檔保存，實現冷備份外，爲了保證在線業務高可用，還須要對數據庫進行主從分離，實時同步實現熱備份。

爲了抵禦地震，海嘯等不可抗力致使的網站徹底癱瘓，某些大型網站會對整個數據中心進行備份，全球範圍內部署災備數據中心。網站程序和數據實時同步到多個災備數據中心。

2.1.8 自動化

在無人值守的狀況下網站能夠正常運行，一切均可以自動化是網站的理想狀態。目前大型網站的自動化架構設計主要集中在發佈運維方面。

發佈對網站是頭等大事，須要網站故障出在發佈緩解，網站工程師常常加班也是由於發佈不順利，經過減小認爲干預，使發佈過程自動化，自動化代碼管理，自動化測試，自動化安全檢測，自動化部署，將工程代碼自動部署到線上生產環境。

發佈以後，線上生產環境也須要進行自動化處理。主要爲自動化監控，自動化報警，自動化失效轉移，自動化失效恢復，自動化降級，自動化分配資源等手段。

2.1.9 安全

互聯網的開放特性使得從誕生起就面對巨大的安全挑戰，網站在安全架構方面也積累了許多模式：經過密碼和手機校驗碼進行身份測試；登陸，交易等操做須要對網絡通訊進行加密，網站服務器上存儲的敏感數如用戶信息等也進行加密處理；爲了防止機器人程序濫用網絡資源攻擊網站，網站使用驗證碼進行識別；對於常見的永華攻擊網站的XSS攻擊，SQL注入，進行編碼轉換等相應處理；對於垃圾信息，敏感信息進行過濾；對交易轉帳等重要操做根據交易模式和交易信息進行風險控制。

2.2 小結

經過本章的學習，瞭解到了網站的主要架構模式。許多但願經過模式一勞永逸的解決本身的問題。正確的使用模式能夠更好的利用業界和前人的思想和實踐，用更少的實踐開發出更好的系統，使設計者的水平也達到更高的境界。可是模式受其使用場景的限制，對系統的要求和約束也不少，不恰當的使用模式只會畫虎不成反類犬，不但沒有解決原來的老問題，反而帶來了更棘手的問題。

山寨與創新最大的區別不在因而否抄襲，是否模仿，而在於對問題和需求是否真正理解與把握。