java http 上傳文件夾

用JAVA實現大文件上傳及顯示進度信息

---解析HTTP MultiPart協議

 (本文提供所有源碼下載，請訪問 https://github.com/1269085759/up6-jsp-mysql)

 

一. 大文件上傳基礎描述：

　　各類WEB框架中，對於瀏覽器上傳文件的請求，都有本身的處理對象負責對Http MultiPart協議內容進行解析，並供開發人員調用請求的表單內容。

好比：

Spring 框架中使用相似CommonsMultipartFile對象處理表二進制文件信息。

而.NET 中使用HtmlInputFile/ HttpPostedFile對象處理二進制文件信息。

優勢：使用框架內置對象能夠很方便的處理來自瀏覽器的MultiPart二進制信息請求，協議分析操做不用開發人員參與。

缺點：其接收數據包過程徹底被封閉在框架內置對象中，直到本次請求信息處理（接收）完畢後，才容許開發人員從接口調取表單及文件內容。上傳過程當中的進度信息沒法訪問，沒法上傳大尺寸文件（好比幾百兆以上的大文件二進制信息）。

目標：咱們要在JAVA WEB框架中，依靠Filter過濾器的能力，實現不依靠框架內置對象，從瀏覽器請求字節流中解析MultiPart協議，取得本次用戶請求的全部信息，包括多二進制文件信息及其餘表單項信息。用戶上傳的文件尺寸將不受限制。並且在傳輸過程當中，咱們能夠實時得到當前傳輸進度信息。

 

注：.NET框架中可依靠IHttpModule接口對象達到JAVA框架中Filter的能力，本文不作描述。

 

本文最終完成圖：

 

 

1.1 普通Post請求協議及MultiPart協議

普通POST請求協議，見圖：

 

Content-Length爲請求信息內容的字節長度

最下方紅圈內爲本次表單請求信息

MultiPart請求協議，見圖：

 

 

Content-Length 爲本次請求的內容長度字節，本例729366

Content-Type 爲multipart/form-data，二進制多段表單

Boundary爲多段表單信息的分隔符，這裏爲-----------------------------------7dflaxxxxxxxxxxx

最後一段信息中，name="file1"，爲本文件表單的單元名稱，filename="untitled2.png"爲該文件名，content-type: image/png爲內容區文件格式

最下方的紅框中爲該文件的二進制信息。

 

由以上兩圖可見，MultiPart與普通的POST在協議結構上有明顯區別，因此咱們接下來的工做就是按字節流的方式接收MultiPart請求數據包，並對其進行分析。

 

1.2 可實時獲取當前傳輸進度信息

　　因爲咱們能夠從上述的Http頭中獲取本次請求內容區長度，即字節總量。因爲咱們能夠從Filter中按字節單位接收來自瀏覽器的數據包，因此咱們也能實時的得到當前接收字節量。所以咱們能夠實時的得到當前傳輸進度百分比，用當前接收的字節量除以接收時間便可得到當前傳輸率(字節/秒)。

　　由此，咱們可得到如下傳輸過程信息：

·         本次數據包總字節數

·         當前已接收的字節數

·         本次請求發起時間

·         當前進度節點時間

·         當前進度狀態（初始狀態，接收數據中，接收數據完畢等）

 

　　接下來，咱們只需把這些進度信息以進度Id作標識(progId)，在SERVER端放入Java框架中的一個公有內存區便可，在瀏覽器中咱們可以使用JS以必定時間間隔訪問SERVER中的某一URL，以進度Id爲標識，從SERVER的公有內存區得到當前請求的進度信息。取得信息後，便可實時操控進度條運行。

　　在Java框架中，公有內存區爲ServletContext對象(例,使用setAttribute方法，以鍵值對的形式將單個用戶進度信息存入HashMap對象)。在.NET框架中，公有內存區爲HttpApplicationState對象。

注：向公有內存區(HashMap對象)寫操做時要進行同步鎖控制(synchronized)，由於公有內存區可能會產生多用戶（多線程）併發操做的現象。

 

二. 問題點分析：

2.1 分段接收：

由於一次傳輸的大文件MultiPart數據包，字節數可能會很大(1G甚至以上)，爲了獲取實時進度信息，以及內存開銷控制，咱們須要將接收過程分紅多段處理，即將數據包分段循環接收(例：每次循環只接收64K數據，期間便可更新當前的進度信息)。

 

2.2 完整數據包解析？/部分數據包實時解析?

　　普通的解析協議方式是，將數據包所有接收後，再進行解析。如下有兩種方式實現。

　　數據包所有加載入內存：對於大文件的MultiPart數據量來講，這種方式會佔用大量內存(好比一個用戶正在上傳1G的數據，那麼內存區必須接收到所有1G數據後才能進行解析，若是多用戶同時操做會致使服務器崩潰)，這種方式不可用。

　　數據包所有寫入文件後再加載入內存：只能解決在接收過程當中開啓小內存並分段寫入文件，當數據所有寫入文件後，還須要加載入內存中進行總體協議分析，也會突發性致使內存開銷過大，致使服務器崩潰，這種方式也不可取。

　　咱們這裏採用的是分段接收，分段解析，分段寫文件的處理方式。當數據包所有接收完畢後咱們的整個分析過程也即終止，並獲得用戶上傳的文件及其餘表單信息結果。這樣咱們每次只須要很小的內存區(好比64K)便可完成任務。

　　但這種方式會面臨本次接收的分段信息內含有多個表單項信息及剩餘的不完整表單信息，或本次接收的分段信息實際上不包含任何表單信息，僅僅是大文件二進制信息的一個片斷。因此，這種方式在編碼上會帶來必定的複雜度。

 

狀況1：

 

狀況2：

 

 

狀況3：

 

 

 

三. 源碼解析

3.1 項目構成要點

 

本次咱們採用Spring框架來實現「大文件傳輸」功能，要點設計結構圖以下：

 

 

 

Filter對象：

　　用於負責接收MultiPart原始數據的Filter，用以在Spring內置對象以前接收用戶請求。須要在Web.xml中進行配置，Web啓動後，該Filter即啓動，當用戶請求到來時須要判斷該MultiPart數據信息是否合法，接收並進行解析。

ServletInputStream/BufferedInputStream對象：

　　使用以上兩對象，可對本次請求進行按字節流接收。在此可建立比較小的接收緩衝區，依靠BufferedInputStream的read進行分段循環接收。 

getBoundarySectFromBuf()函數：

　　自定義函數，咱們須要該函數從分段緩衝區中分析可能包含的多個Form表單信息，或者部分表單信息，或者二進制文件片斷信息。對於表單信息分析後填充表單數據結構，對於二進制文件信息須要寫文件。該函數須要完成邊接收邊解析邊寫文件的重要工做。

ProgressInfo對象：

　　進度信息類,描述了一次上傳請求的進度信息。該對象會用來被客戶端輪詢請求，以得到當前傳輸大文件過程當中的進度信息。

FormPart對象及listFormPart集合：

FormPart對於單個Form表單的描述。listFormPart爲本次請求的所有表單描述集合。即供後續代碼調用的所有表單項內容。

Controller層getProgInfo()處理函數：

　　該函數將接受來自瀏覽器的「得到進度信息請求」，並從當前ServletContext公共內存區中找到與Progesss ID對應的進度信息對象ProgressInfo，以XML的形式返回給瀏覽器。該函數會被客戶端輪詢請求。

multi-form.jsp頁面：

　　本次表單的顯示頁面，包含多種表單項(Input，Textarea，File等)。該頁面還將顯示用於本次傳輸的進度條，傳輸狀態，傳輸率等信息。頁面中進度信息將使用js向服務器進行週期性輪詢請求，得到及顯示。

upload-result.jsp頁面：

　　用來顯示本次請求的全部表單項信息，包括普通Input表單，及File表單信息。

 

3.2 重點模塊解析

3.2.1 服務器端：

3.2.2 瀏覽器端：

(本節可參考示例代碼中註釋)

 

四. 擴展及相關

4.1斷點續傳：

　　通常常說的斷點續傳是指文件下載的斷點續傳。 即利用HTTP協議中的Content-Range關鍵字(在HTTP Header中)，向服務器發請求，服務器接收請求後，查看Content-Range屬性的文件偏移量，從而發送後續文件二進制信息給瀏覽器。好比網絡螞蟻類的下載軟件，即開啓多線程利用Content-Range關鍵字將某個網絡資源分佈接收，最終整合保存在本地。

　　而在WEB中咱們所使用的上傳文件斷點續傳功能，大可能是須要下載ActiveX控件來實現。即至關於在本地下載了一個應用程序，同服務器間文件傳輸協議也不用使用HTTP協議，可自定義協議完成。

　　利用存粹的HTTP協議進行上傳文件的斷點續傳目前還比較少，聽說利用Ajax 中的Slice方法把本地文件分紅多個HTTP包POST給服務器，而服務器須要將這些包接收後並整合來實現。操做方式比較複雜，本人沒嘗試過，有感興趣的朋友可深刻探討。

 

4.2本項目待完善要點：

　　因爲時間倉促，本項目目前只完成了大文件上傳及進度顯示的主要功能。在瀏覽器前端進度信息的動態顯示上，前端使用的JS框架(Ext JS, JQuery)等都須要更深刻的支持。

　　在服務器端，也能夠依靠對Filter的配置信息，對文件上傳信息進行覈查或過濾，好比不能上傳某些擴展名的文件，文件上傳尺寸控制，另存後的文件名惟一性控制等也都須要更細緻的描述。

 

附件文件列表：

MultiData.txt ：一次截獲的所有MultiPart數據包信息

multi-form.jsp：多文件上傳顯示頁面，包括獲取進度信息JS腳本

upload_result.jsp：用於顯示上傳結果的表單項集合頁面

MultiForm.java：主過濾器,Filter。用來處理所有上傳過程。

UploadProgInfo.java：Controller層的Spring Bean對象，用來獲取當前的進度信息。

 

做者自述：

本人從事十六年WINDOWS應用/遊戲/設備/WEB/APP等開發，目前從事Linux，IaaS/PaaS/Docker及CAAS雲平臺架構設計及開發。

基於全球開源共享理念，本人會分享更多原創及譯文，讓更多的IT人從中受益，與你們一塊兒進步！

尋找對雲計算，雲平臺，容器技術感興趣的夥伴，讓計算資源像水同樣在世界流動~

相關參考：http://t.cn/EyI6vHh