基於Java技術的大型網站架構方案(轉)

時間 2019-11-12

標籤基於 java 技術大型網站架構方案欄目 Java 简体版

原文原文鏈接

一、Web層
主體架構能夠基於 Struts 1.X/2.X，固然有不少更好的控制層框架供選擇，以快速敏捷爲準則吧。
抽象出核心庫封裝控制器和中間層的操做。
在大規模集羣環境下，session複製會引發嚴重的性能問題。考慮用集羣緩存 + cookie驗證代替session實現權限控制吧。
二、Cache層
配置 Memcache 組成集羣緩存
對 Memcache 客戶端進行封裝
Memcached 節點組成池，調用示意：opList (BizName, 策略 ...)
三、中間層
「中間層」能夠理解爲基於應用和數據之間的層次。它被設計用來爲Web應用提供：數據緩存和對應用透明的數據訪問——即應用不須要考慮數據表拆分的問題。以服務的方式提供對存儲層的高性能調用以及分佈式計算。可供選擇的框架：ICE 、Hadoop 直接基於Memcache開發（減小複雜度，推薦）
四、存儲
推薦MySQL，理由：免費，通過實踐檢驗，有大量成熟的案例、解決方案、技術支持。
小規模：一個 data table 維護存儲服務器陣列，內容 -> mount ……
大規模：Master-Slave模式+MySQL Proxy，實現數據庫讀寫分離。在中間層的包裝下，可作以下擴展，以支持更大規模的數據存取：
數據庫/表水平拆分，例 User -> User33% + User33% + User34%
數據庫/表垂直拆分，例 User -> UserBaseInfo + UserAddrInfo
也可考慮使用 LongStore (龍存) 解決方案，由龍存管理存儲陣列……
五、部署
劃分子域名，每一個子域名一個Web應用包，互不干擾
靜態資源（css, js, image ...）使用專門的靜態服務器
六、負載均衡
小規模：DNS輪詢。
大規模：F5， 2*X 臺F5服務器，F5是L4/L7層交換機，每臺至少可處理200萬鏈接（與服務器內存有關）。
Ngnix是L7層交換，LVS負載均衡也是一種方案
七、Web中間件選擇
Tomcat - 最高400併發
Apache - 最高2000併發
Ngnix - 優於Apache
採用方案：Ngnix + Resin ，理由：
Resin提供更爲快速的servlet引擎 - 選擇Resin。
gzip問題 - Resin在單獨處理gzip時存在內存溢出的隱患，所以要加一層 Ngnix。
Ngnix 能減小單獨使用Resin時的內存佔用 - Resin創建1000個鏈接使用1000個線程；加Ngnix後，透過其「異步鏈接」、「創建長鏈接」機制使Resin內存壓力大大減少。
Ngnix 針對Linux系統有性能優化措施 - 0 Copy, send file ...
所以採用：1 Ngnix + 1 Resin，一對一。
靜態服務器採用：Squid + Apache, why? because Squid has cache ability ...
新變化 - Nginx從0.7.48版本開始，支持了相似Squid的緩存功能。這個緩存是把URL及相關組合看成Key，用md5編碼哈希後保存在硬盤上，因此它能夠支持任意URL連接，同時也支持 404/301/302 這樣的非200狀態碼。雖然目前官方的Nginx Web緩存服務只能爲指定URL或狀態碼設置過時時間，不支持相似Squid的PURGE指令，手動清除指定緩存頁面，可是，經過一個第三方的Nginx模塊，能夠清除指定URL的緩存。
Nginx的Web緩存服務主要由proxy_cache相關指令集和fastcgi_cache相關指令集構成，前者用於反向代理時，對後端內容源服務器進行緩存，後者主要用於對FastCGI的動態程序進行緩存。二者的功能基本上同樣。
最新的Nginx 0.8.31版本，proxy_cache和fastcgi_cache已經比較完善，加上第三方的ngx_cache_purge模塊（用於清除指定URL的緩存），已經能夠徹底取代Squid。有的網站已經在生產環境使用了 Nginx 的 proxy_cache 緩存功能超過兩個月，十分穩定，速度不遜於 Squid。
在功能上，Nginx已經具有Squid所擁有的Web緩存加速功能、清除指定URL緩存的功能。而在性能上，Nginx對多核CPU的利用，賽過Squid很多。另外，在反向代理、負載均衡、健康檢查、後端服務器故障轉移、Rewrite重寫、易用性上，Nginx也比Squid強大得多。這使得一臺Nginx能夠同時做爲"負載均衡服務器"與"Web緩存服務器"來使用。如下是配置片斷供參考：
view plaincopy to clipboardprint?
http
{
...
client_body_buffer_size 512k;
proxy_connect_timeout    5;
proxy_read_timeout       60;
proxy_send_timeout       5;
proxy_buffer_size        16k;
proxy_buffers            4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
...
#注：proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區
proxy_temp_path   /data0/proxy_temp_dir;
#設置Web緩存區名稱爲cache_one，內存緩存空間大小爲200MB，1天清理一次緩存，硬盤緩存空間大小爲30GB。
proxy_cache_path /data0/proxy_cache_dir levels=1:2   keys_zone=cache_one:200m inactive=1d max_size=30g;
}
server
{
...
location /
{
    #若是後端的服務器返回50二、50四、執行超時等錯誤，自動將請求轉發到upstream負載均衡池中的另外一臺服務器，實現故障轉移。
    proxy_next_upstream http_502 http_504 error timeout invalid_header;
    proxy_cache cache_one;
    #對不一樣的HTTP狀態碼設置不一樣的緩存時間
    proxy_cache_valid 200 304 12h;
    proxy_cache_valid 301 302 1h;
    #以域名、URI、參數組合成Web緩存的Key值，Nginx根據Key值哈希，存儲緩存內容到二級緩存目錄內
    proxy_cache_key $host$uri$is_args$args;
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass http://backend_server;
    expires      1d;
}
#用於清除緩存，假設一個URL爲http://192.168.1.44/test.txt，經過訪問http://192.168.4.44/purge/test.txt就能夠清除該URL的緩存。
location ~ /purge(/.*)
{
    #設置只容許指定的IP或IP段才能夠清除URL緩存。
    allow            127.0.0.1;
    allow            192.168.0.0/16;
    deny            all;
    proxy_cache_purge    cache_one   $host$1$is_args$args;
}
#擴展名以.php、.jsp、.cgi結尾的動態應用程序不緩存。
location ~ .*\.(php|jsp|cgi)?$
{
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass http://backend_server;
}
} php

同時，對於影響頁面展示的靜態資源，例如：css, js 等能夠放在具備優質帶寬的IDC（IDC=互聯網數據中心，優質/高速的帶寬也比較貴，正所謂一份價錢一分貨）；其餘的靜態資源，如圖片等能夠放在價格相對低廉的IDC中，以域名區分兩種靜態資源，節省每一分錢。
八、網絡拓撲圖
/ Ngnix - 1:1 - Resin
F5 --
\ Squid - 1:n - Apachecss

九、監控統計平臺
業務統計 - 用戶訪問統計
軟件性能 - 應用系統監控，例如：請求響應時間……
硬件/網絡性能 - Ganglia監控
十、其它要點
IE瀏覽器對同一域名（包括子域名）只能創建2個鏈接，鏈接多了只能排隊……
雙F5架構，兩臺職能劃分不一樣，鏡像，心跳接管……
Raid存儲陣列……
Linux操做系統及其優化……數據庫