網站架構概述

大型分佈式網站架構技術總結(其下有不少概述文章)

互聯網公司技術架構

記一次JavaWeb網站技術架構總結

系統網站

不論什麼網站，不論在什麼階段，都是以用戶爲基礎的。其目的都是要服務更多用戶，佔據更多市場份額，創造更大利潤。

在網站初期，須要是系統儘快上線，搶佔市場。當用戶量上來了，再進行系統升級。如今絕大多數系統，應該都是走的這個路子，從小到大，從簡單到複雜。

大型網站的特色

以用戶爲中心，用戶多，分佈普遍，全國世界各地

流量大，併發高，數據量大

安全環境惡劣，容易受到網絡攻擊

需求多，頻繁發佈

系統從小到大，漸進發展

大型網站架構目標

高性能：提供快速的訪問體驗

主要參數有較短的響應時間，較大的併發處理能力，較高的吞吐量，穩定的性能參數。

可分爲前端優化，應用層優化，代碼層優化，存儲層優化。

前端優化：網站業務邏輯以前的部分；

瀏覽器優化：減小Http請求數，使用瀏覽器緩存，啓用壓縮，Css Js位置，Js異步，減小Cookie傳輸；CDN加速，反向代理；

應用層優化：處理網站業務的服務器。使用緩存，異步，集羣

代碼優化：合理的架構，多線程，資源複用（對象池，線程池等），良好的數據結構，JVM調優，單例，Cache等；

存儲優化：緩存，固態硬盤，光纖傳輸，優化讀寫，磁盤冗餘，分佈式存儲（HDFS），NOSQL等；

高可用：網站服務一直能夠正常訪問

正常提供對外服務。由於大型網站的複雜性，分佈式，廉價服務器，開源數據庫，操做系統等特色。要保證高可用是很困難的，也就是說網站的故障是不可避免的。

如何提升可用性，就是須要迫切解決的問題。首先，須要從架構級別，在規劃的時候，就考慮可用性。行業內通常用幾個9表示可用性指標。好比四個9（99.99），一年內容許的不可用時間是53分鐘。

不一樣層級使用的策略不一樣，通常採用冗餘備份和失效轉移解決高可用問題。

應用層：通常設計爲無狀態的，對於每次請求，使用哪一臺服務器處理是沒有影響的。通常使用負載均衡技術（須要解決Session同步問題），實現高可用。

服務層：負載均衡，分級管理，快速失敗（超時設置），異步調用，服務降級，限流，冪等設計等。

數據層：冗餘備份（冷，熱備[同步，異步]，溫備），失效轉移（確認，轉移，恢復）。數據高可用方面著名的理論基礎是CAP理論（持久性，可用性，數據一致性[強一致，用戶一致，最終一致]）

可伸縮：經過硬件增長/減小，提升/下降處理能力

伸縮性是指在不改變原有架構設計的基礎上，經過添加/減小硬件（服務器）的方式，提升/下降系統的處理能力。

應用層：對應用進行垂直或水平切分。而後針對單一功能進行負載均衡（DNS,HTTP[反向代理],IP,鏈路層）。

服務層：與應用層相似；

數據層：分庫，分表，NOSQL等；經常使用算法Hash，一致性Hash。

擴展性：方便的經過新增/移除方式，增長/減小新的功能/模塊

能夠方便的進行功能模塊的新增/移除，提供代碼/模塊級別良好的可擴展性。

模塊化，組件化：高內聚，內耦合，提升複用性，擴展性。

穩定接口：定義穩定的接口，在接口不變的狀況下，內部結構能夠「隨意」變化。

設計模式：應用面向對象思想，原則，使用設計模式，進行代碼層面的設計。

消息隊列：模塊化的系統，經過消息隊列進行交互，使模塊之間的依賴解耦。

分佈式服務：公用模塊服務化，提供其餘系統使用，提升可重用性，擴展性。 

安全性：提供網站安全訪問和數據加密，安全存儲等策略

對於安全問題，首先要提升安全意識，創建一個安全的有效機制，從政策層面，組織層面進行保障。好比服務器密碼不能泄露，密碼每個月更新，而且三次內不能重複；每週安全掃描等。以制度化的方式，增強安全體系的建設。同時，須要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，數據保密安全等。

基礎設施安全：硬件採購，操做系統，網絡環境方面的安全。通常採用，正規渠道購買高質量的產品，選擇安全的操做系統，及時修補漏洞，安裝殺毒軟件防火牆。防範病毒，後門。設置防火牆策略，創建DDOS防護系統，使用攻擊檢測系統，進行         子網隔離等手段。

         應用系統安全：在程序開發時，對已知經常使用問題，使用正確的方式，在代碼層面解決掉。防止跨站腳本攻擊（XSS），注入攻擊，跨站請求僞造（CSRF），錯誤信息，HTML註釋，文件上傳，路徑遍歷等。還可使用Web應用防火牆（好比：ModSecurity），進行安全漏洞掃描等措施，增強應用級別的安全。

         數據保密安全：存儲安全（存在在可靠的設備，實時，定時備份），保存安全（重要的信息加密保存，選擇合適的人員複雜保存和檢測等），傳輸安全（防止數據竊取和數據篡改）；

         經常使用的加解密算法（單項散列加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。 

敏捷性：隨需應變，快速響應

網站的架構設計，運維管理要適應變化，提供高伸縮性，高擴展性。方便的應對快速的業務發展，突增高流量訪問等要求。

除上面介紹的架構要素外，還須要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，運維統一塊兒來，隨需應變，快速響應。 

大型網站架構經常使用模式

分層(*****)

網絡防禦層：安全防禦(防火牆、DDOS高防、)，負載均衡，鏈接管理，協議適配

接入網關層：智能路由，流量管控，熔斷機制，降級容錯

業務服務層：

                    1. 具體業務層：好比秒殺業務，壽險業務，團購業務，各類前端業務

                    2.業務組件層：用戶服務，會員服務，地址服務，支付服務，風控服務，搜索服務，推薦服務，權限服務

基礎服務層：RPC服務，MQ服務，緩存服務，DB服務，配置中心服務，文件服務，大數據服務，搜索服務

服務監測層：鏈路追蹤，統一日誌，統一監控告警，數據採集與分析

平臺服務層：資源調度，鏡像治理，發佈管理

分佈式

將應用分開部署（好比多臺物理機），經過遠程調用協同工做。好比A服務調用B服務，A、B服務單獨部署，在不一樣的服務器上作專門的事，可利用的資源更多，處理能力也就更大

集羣

一個應用/模塊/功能部署多份（如：多臺物理機），經過負載均衡共同提供對外訪問。在分佈式的基礎上，多機器對外提供相同服務，負載均衡下，提高系統可用性。

緩存

將數據放在距離應用或用戶最近的位置，加快訪問速度。

CDN緩存：將數據緩存到離用戶最近的位置，通常緩存靜態資源文件（頁面，腳本，圖片，視頻，文件等）

反向代理緩存：反向代理通常緩存靜態資源。反向代理位於應用服務器機房，處理全部對WEB服務器的請求。若是用戶請求的頁面在代理服務器上有緩衝的話，代理服務器直接將緩衝內容發送給用戶。

                         若是沒 有緩衝則先向WEB服務器發出請求，取回數據，本地緩存後再發送給用戶。經過下降向WEB服務器的請求數，從而下降了WEB服務器的負載。

分佈式緩存

本地緩存

服務降級

當服務器壓力劇增的狀況下，根據實際業務狀況及流量，對一些服務和頁面有策略的不處理或換種簡單的方式處理，從而釋放服務器資源以保證核心交易正常運做或高效運做。

限流

系統處理能力有限，當大量請求來時，有些請求不作處理（返回異常或者固定數據）或者拒絕處理。

異步

將同步的操做異步化。客戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。通常指：請求——響應——通知 模式。

冗餘

增長副本，提升可用性，安全性，性能。

安全

對已知問題有有效的解決方案，對未知/潛在問題創建發現和防護機制。