【轉載】【JAVA秒會技術之圖片上傳】基於Nginx及FastDFS，完成圖片的上傳及展現

基於Nginx及FastDFS，完成商品圖片的上傳及展現

1、傳統圖片存儲及展現方式

 

   存在問題：

1）大併發量上傳訪問圖片時，須要對web應用作負載均衡，可是會存在圖片共享問題

2）web應用服務器的存儲空間有限，它是web應用服務器，而不是存儲服務器。

3）web應用服務器的自己的io讀寫性能不高，圖片上傳下載時，速度偏慢

4）web應用服務器訪問圖片時，因爲圖片內容較大，併發量大的時候，會佔用web應用服務器的帶寬，這樣該web應用服務器的其餘功能就會受到較大的影響。

   解決方案：

1）將圖片集中存儲到IO讀寫性能高的圖片服務器中。

2）下載訪問圖片時，使用http服務器直接讀取圖片服務器中的圖片。

2、集羣模式

 

(1)Nginx快速入門

Nginx是一個高性能的HTTP和反向代理服務器，也是一個IMAP/POP3/SMTP服務器。主要應用於：HTTP服務器、反向代理服務器\負載均衡服務器、虛擬主機。

   Nginx的安裝（另見《電商經常使用軟件安裝篇》）

   Nginx的使用（經過修改nginx.conf配置文件實現）

1）虛擬主機配置

   將網絡中的每一臺計算機分紅多個虛擬主機，每一個虛擬主機能夠單獨對外提供www服務。

   a)基於端口配置（ip地址一致，端口不一致）

#基於80端口的虛擬主機 server { listen 80; server_name 192.168.242.128; location / { root html; index index.html index.htm; } }

#基於81端口的虛擬主機 server { listen 81; server_name 192.168.242.128; location /{ root html81; index index.html index.htm; } }

   b)基於域名配置

①修改hosts文件，實現ip地址和域名的映射配置：

  Hosts文件的位置：C:\Windows\System32\drivers\etc\hosts

  建議使用SwitchHosts工具修改本地DNS配置。

②配置nginx.conf

#基於www.aaa.com域名的虛擬主機 server {        listen 80; server_name www.aaa.com; location /{ root htmlaaa; index index.html index.htm; } }

#基於www.bbb.com域名的虛擬主機 server { listen 80; server_name www.bbb.com; location /{ root htmlbbb; index index.html index.htm; } }

2）反向代理配置

一般的代理服務器，只用於代理內部網絡對Internet的鏈接請求；而反向代理（Reverse

Proxy）方式是指以代理服務器來接受internet上的鏈接請求。

簡單理解：以tomcat爲中心，之內外網爲前提，tomcat主動出擊是正向代理，而tomcat

被動接受請求就是反向代理。

3）負載均衡配置

簡單理解：反向代理負載均衡技術是把未來自internet上的鏈接請求以反向代理的方式動態地轉發給內部網絡上的多臺服務器進行處理，從而達到負載均衡的目的。

① 負載均衡的方式：硬負載（F5服務器）、軟負載（Nginx）

② 負載均衡的策略：輪詢、ip_hash等

 

③ 具體配置

tomcat+nginx演示：

反向代理案例中，經過域名www.tomcat1.com訪問時，後臺只有8080端口服務進行響應。

負載均衡配置時，經過域名www.tomcat1.com訪問時，後臺除了8080端口響應，再添加一臺8282服務器響應服務。

修改nginx配置文件，修改以下：

upstream tomcat1{ #weight 權重，默認是1，權重越高，被分配的概率越大 server 192.168.242.128:8080  weight=2; server 192.168.242.128:8282; }   #配置一個虛擬主機 server { listen 80; server_name www.tomcat1.com; location / { proxy_pass http://tomcat1; } }

 (2)FastDFS

 FastDFS是用C語言編寫的一款開源的分佈式文件系統。FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

1）FastDFS架構（Tracker server + Storage server）

① Tracker server做用是對Storage server進行負載均衡和調度，在文件上傳時會直接請求Tracker server，而後Tracker server能夠根據一些策略找到Storage server來提供文件上傳服務。因此能夠將tracker稱爲追蹤服務器或調度服務器。

② Storage server做用是文件存儲，客戶端上傳的文件最終存儲在Storage服務器上，Storage server沒有實現本身的文件系統而是利用操做系統的文件系統來管理文件。能夠將storage稱爲存儲服務器。

具體架構以下圖：

 

2）Tracker 集羣

FastDFS集羣中的Tracker server能夠有多臺，Tracker server之間是相互平等關係同時提供服務，Tracker server不存在單點故障。客戶端請求Tracker server採用輪詢方式，若是請求的tracker沒法提供服務則換另外一個tracker。

3）Storage集羣

Storage集羣採用了分組存儲方式。storage集羣由一個或多個組構成，一個組由一臺或多臺存儲服務器組成，組內的Storage server之間是平等關係，不一樣組的Storage server之間不會相互通訊，同組內的Storage server之間會相互鏈接進行文件同步，從而保證同組內每一個storage上的文件徹底一致的。一個組的存儲容量爲該組內存儲服務器容量最小的那個，集羣存儲總容量爲集羣中全部組的存儲容量之和，因而可知組內存儲服務器的軟硬件配置最好是一致的。

採用分組存儲方式的好處是靈活、可控性較強。好比上傳文件時，能夠由客戶端直接指定上傳到的組也能夠由tracker進行調度選擇。一個分組的存儲服務器訪問壓力較大時，能夠在該組增長存儲服務器來擴充服務能力（縱向擴容）。當系統容量不足時，能夠增長組來擴充存儲容量（橫向擴容）。

4）Storage狀態收集

Storage server會鏈接集羣中全部的Tracker server，定時向他們報告本身的狀態，包括磁盤剩餘空間、文件同步情況、文件上傳下載次數等統計信息。

5）文件上傳流程

 

 

客戶端上傳文件後存儲服務器將文件ID返回給客戶端，此文件ID用於之後訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。

 

 

n 組名：文件上傳後所在的storage組名稱，在文件上傳成功後有storage服務器返回，須要客戶端自行保存。

n 虛擬磁盤路徑：storage配置的虛擬路徑，與磁盤選項store_path*對應。若是配置了store_path0則是M00，若是配置了store_path1則是M01，以此類推。

n 數據兩級目錄：storage服務器在每一個虛擬磁盤路徑下建立的兩級目錄，用於存儲數據文件。

n 文件名：與文件上傳時不一樣。是由存儲服務器根據特定信息生成，文件名包含：源存儲服務器IP地址、文件建立時間戳、文件大小、隨機數和文件拓展名等信息。

6）文件下載流程

 

tracker根據請求的文件路徑即文件ID來快速定義文件。

好比請求下邊的文件：

 

1.經過組名tracker可以很快的定位到客戶端須要訪問的存儲服務器組是group1，並選擇合適的存儲服務器提供客戶端訪問。  

2.存儲服務器根據「文件存儲虛擬磁盤路徑」和「數據文件兩級目錄」能夠很快定位到文件所在目錄，並根據文件名找到客戶端須要訪問的文件。