本篇文章基於實際項目的開發,將介紹項目中關於大文件分片上傳、文件驗證、斷點續傳、手動重試上傳等需求的使用場景及實現;javascript
下文就以電視劇爲例
肯定電視劇基本信息(自定義名稱,內容簡介、演員簡介、播出時間等)及文件的上傳方式css
文件斷點續傳中,如何分片;文件接收方式;服務器端如何判斷是哪一個文件的分片;如何拼接各個分片;上傳過程當中發生意外狀況(如斷網,關閉瀏覽器),如何處理?html
根據需求,已經確認了先上傳基本信息,後上傳文件,基本信息的提交(標題、簡介、封面)比較簡單,只須要在前端提交數據表所需字段,而後後臺返回插入的主鍵便可,因此基本信息的提交及返回不過多說明,僅僅經過前端頁面截圖及後端部分代碼進行簡要說明,實現部分主要講解分析文件上傳部分的代碼;
說明:本篇文章主要涉及到兩張表的操做,兩張表的數據結構以下:前端
提交頁面使用模板+原生html+css實現,每一個人的頁面、所需參數各不相同,因此在前端代碼中,沒有多大的參考價值,因此直接使用截圖,來表現我須要作的工做、傳的參數。java
能夠根據本身的業務使用FormData封裝傳遞的參數jquery
//點擊保存按鈕後保存數據 function save_microClass() { //獲取form的基本信息 var classTitle = $("#classTitle").val(), classDes = $("#classDes").val(), coverFile = document.getElementById("coverFileName").files[0], //構造一個新表單,FormData是HTML5新增的,由於基本信息中存在封面圖片,因此須要使用表單提交數據 var form = new FormData(); form.append("title", classTitle); form.append("desc", classDes); form.append("coverFile", coverFile); //Ajax提交 $.ajax({ url: "micro/save", type: "POST", data: form, async: true, //異步 processData: false, //很重要,告訴jquery不要對form進行處理 contentType: false, //很重要,指定爲false才能造成正確的Content-Type success: function(data){ //在添加音視頻基本信息以後,服務器端返回新增音視頻的主鍵,以便以後上傳文件時,與文件進行關聯 if(data.length>0){ $("#microClassId").val(data); submitFile();//提交文件 } } }); } }複製代碼
服務器端須要與前端協同做戰,接收參數須要與前端傳遞過來的參數對應上,以避免報出400的錯誤。web
/** * @Description: 新增基本信息時保存form表單 * @param title * 音視頻名稱 * @param coverFile * 封面對象 * @param desc * 音視頻描述字段 */ @RequestMapping(value = "/save", method = RequestMethod.POST) @ResponseBody public Integer create(String title,String desc, MultipartFile coverFile) { try { //保存基本信息邏輯,本身實現,而後返回基本信息插入後的主鍵 //request,即HttpServletRequest對象,在項目啓動時候就被注入,以下: /** * @Autowired * private HttpServletRequest request; **/ Integer videoId = videoService.save(title,desc, coverFile, request); return videoId; } catch (Exception e) { e.printStackTrace(); } return null; }複製代碼
在前端實現中,採用純JavaScript+html+css來實現按鈕的刪除、添加、文件的添加、上傳時暫停、繼續、以及文件的順序控制;ajax
<div class="row pb40 pt40 mlr-10 border-top-1"> <div class="col-xs-12 col-lg-12"> <div class="col-xs-12 col-lg-12"> <span id="mediaLable">添加視頻內容</span><small style="color: #ff5704;margin-left:10px;" id="mediaLimit">視頻格式僅支持MP4及AVI,文件大小需小於500M</small> </div> <div id="mediaFiles" class="col-xs-12 col-lg-12 mt20 video-list-wrap"> </div> <div class="col-xs-10 col-xs-offset-1 col-lg-10 col-lg-offset-1 mt20 mb10"> <a href="javascript:;" id="addMediaButton" onclick="addFileInput()" class="mybtn btn-add-user2">添加視頻</a> </div> </div> </div>複製代碼
以上代碼,就是文件上傳部分的html代碼,無需關心css樣式,但須要注意每一個元素的id/name/事件函數;如下就是JavaScript實現文件上傳邏輯的代碼;數據庫
<script type="text/javascript">
//刪除一個上傳文件文本框
function delFileInput(that) {
var delFileDivId = $(that).parent().attr("id");
//若是是修改頁面的刪除則將要刪除的附件ID保存在隱藏框
if (delFileDivId.indexOf("modify") == 0) {
var deleteFileIds = $("#deleteFileIds").val();
if (deleteFileIds.length > 0) {
deleteFileIds = deleteFileIds + "," + delFileDivId.split("_").pop();
$("#deleteFileIds").val(deleteFileIds);
} else {
$("#deleteFileIds").val(delFileDivId.split("_").pop());
}
}
var uploadFileDivs = $("#mediaFiles").children();
episodeCount = uploadFileDivs.length-1;
//刪除後修改集數
for(var i=1;i<uploadFileDivs.length;i++){
if($("#mediaFiles").children()[i].id==$(that).parent().parent().attr("id")){
$(that).parent().parent().remove();
for(var j=i;j<uploadFileDivs.length;j++){
$($("#mediaFiles").children()[j]).find(".account").text("第"+(j+1)+"集");
}
break;
}
}
}
//上傳附件文本框計數器
var inputCount = 0;
var episodeCount = 0;
//點擊按鈕後新增一個上傳文件文本框
function addFileInput() {
//把新增的每一行都放到一個div中,刪除時刪除這個父div節點便可
var rootFileDiv = document.createElement("div");
rootFileDiv.setAttribute("id", "rootFileDiv" + inputCount);
if(inputCount==0){
rootFileDiv.setAttribute("class", "col-xs-12 col-lg-12 video-list");
}else{
rootFileDiv.setAttribute("class", "col-xs-12 col-lg-12 full video-list mt20");
}
$("#mediaFiles").append(rootFileDiv);
//刪除圖標
var delDiv = document.createElement("div");
delDiv.setAttribute("id", "delFileDiv" + inputCount);
delDiv.setAttribute("class", "delete");
if(inputCount>0){
var delDivText = "<span>×</span>";
delDiv.innerHTML = delDivText;
}
//集數
var countDiv = document.createElement("div");
countDiv.setAttribute("id", "account");
countDiv.setAttribute("class", "account");
var countDivText = "第"+(episodeCount+1)+"集";
countDiv.innerHTML = countDivText;
//文件名稱顯示文本框
var mediaFileNameDiv = document.createElement("div");
mediaFileNameDiv.setAttribute("class", "name");
var mediaFileNameDivInput = "<input type='text' id=mediaFile" + inputCount + "_Name" + " class='form-control' />";
mediaFileNameDiv.innerHTML = mediaFileNameDivInput;
//文件上傳文本框
var mediaFileDiv = document.createElement("div");
mediaFileDiv.setAttribute("class", "filebtn");
var mediaType = $("#type").val();
var mediaFileInput;
if(mediaType==0){
mediaFileInput = "<a><span>選擇文件 ></span><input type='file' accept='.mp4,.avi' name='myfiles' id=mediaFile"+inputCount+"_ class='' onchange='handleFile(this)'/></a>";
}else{
mediaFileInput = "<a><span>選擇文件 ></span><input type='file' accept='.mp3' name='myfiles' id=mediaFile"+inputCount+"_ class='' onchange='handleFile(this)'/></a>";
}
mediaFileDiv.innerHTML = mediaFileInput;
//上傳進度條
var progressbarDiv = document.createElement("div");
progressbarDiv.setAttribute("id", "progressbar"+inputCount);
progressbarDiv.setAttribute("class", "progress hide");
var progressbarDivText = '<div class="progress-bar progress-bar-green" role="progressbar" aria-valuenow="100" aria-valuemin="0" aria-valuemax="100" style="width: 0%;"></div><div class="percent">0%</div><div class="size">40M/200M</div>';
progressbarDiv.innerHTML = progressbarDivText;
//暫停上傳或者繼續上傳按鈕
var uploadStatusButtonDiv = document.createElement("div");
uploadStatusButtonDiv.setAttribute("id", "uploadStatusButton"+inputCount);
uploadStatusButtonDiv.setAttribute("class", "result");
uploadStatusButtonDivButton = '<span class="success hide"><i class="fa fa-check-circle"></i>上傳完成</span><span class="stop-continue hide" id="uploadStatusButton" onclick="changeUploadStatus(this)">暫停上傳</span>';
uploadStatusButtonDiv.innerHTML = uploadStatusButtonDivButton;
$("#rootFileDiv" + inputCount).append(delDiv);
$("#rootFileDiv" + inputCount).append(countDiv);
$("#rootFileDiv" + inputCount).append(mediaFileNameDiv);
$("#rootFileDiv" + inputCount).append(mediaFileDiv);
$("#rootFileDiv" + inputCount).append(progressbarDiv);
$("#rootFileDiv" + inputCount).append(uploadStatusButtonDiv);
inputCount++;
episodeCount++;
return rootFileDiv;
}
//mediaFileArray存放分片數據信息
var mediaFileArray=new Array();
//獲取上傳分片數據基本信息,獲取完畢後調用上傳方法提交分片
function submitFile(){
var fileInputs = $("input[name='myfiles']");
for(var i=0;i<fileInputs.length;i++){
if(fileInputs[i].files[0]!=null){
var newName = guid();
var name = fileInputs[i].files[0].name, //文件名
size = fileInputs[i].files[0].size, //總大小
type = fileInputs[i].files[0].type, //文件類型
shardSize = 10 * 1024 * 1024, // shardSize = 10 * 1024 * 1024, 以10MB爲一個分片
shardCount = Math.ceil(size / shardSize); //總片數
var shardArray = new Array();
shardArray[0]=name;
shardArray[1]=size;
shardArray[2]=type;
shardArray[3]=shardSize;
shardArray[4]=shardCount;
shardArray[5]=0;//當前上傳狀態,0-等待上傳,1-正在上傳,2是上傳完成
shardArray[6]=0;//已傳輸最後分片編號
shardArray[7]=newName;//服務器存儲名稱
mediaFileArray[i]=shardArray;//將每一個file的分片信息放入全局數組
}else{
//當進入修改頁面file爲空時
var newName = guid();
var name = "", //文件名
size = 0, //總大小
type = "", //文件類型
shardSize = 10 * 1024 * 1024, // shardSize = 10 * 1024 * 1024, 以10MB爲一個分片
shardCount = 0; //總片數
var shardArray = new Array();
shardArray[0]=name;
shardArray[1]=size;
shardArray[2]=type;
shardArray[3]=shardSize;
shardArray[4]=shardCount;
shardArray[5]=0;//當前上傳狀態,0-等待上傳,1-正在上傳,2是上傳完成
shardArray[6]=0;//已傳輸最後分片編號
shardArray[7]=newName;//服務器存儲名稱
mediaFileArray[i]=shardArray;//將每一個file的分片信息放入全局數組
}
}
postFile(0,0);//第一個參數是第幾個file元素,最後一個參數是從第幾個分片開始上傳
}
//附件完成上傳計數器
var endCount=0;
//控制是否繼續往服務端發送分片數據,0-繼續提交,1-中止提交
var flag=0;
//文件斷點續傳
function postFile(fileNum,shardNum){
if(flag==0){
//計算每一片的起始與結束位置
var file = $("input[name='myfiles']")[fileNum].files[0];
var oldName;
if($("#mediaFiles").find(".video-list").eq(fileNum).find(".form-control").eq(0).val().length>0){
oldName = $("#mediaFiles").find(".video-list").eq(fileNum).find(".form-control").eq(0).val()+"#";
}else{
oldName = mediaFileArray[fileNum][0]+"#";
}
//修改時須要oldname拼接fileId
var fileNameId = $("#mediaFiles").find(".video-list").eq(fileNum).find(".form-control").eq(0).attr("id");
if(fileNameId.indexOf("modify")==0&&fileNameId.length>0&&fileNameId.split("_").length>0){
oldName = oldName + fileNameId.split("_")[1];
}
var start = shardNum * mediaFileArray[fileNum][3],
end = Math.min(mediaFileArray[fileNum][1], start + mediaFileArray[fileNum][3]);
/* //修改文件爲空,但全部文件都已傳輸完則跳轉回view if(file==null&&endCount>=mediaFileArray.length){ window.location.href="micro/index?type="+$("#type").val(); return; } */
//當文件不爲空,當前文件全部分片都傳輸完時控制button顯示並跳轉回view
if(shardNum >= mediaFileArray[fileNum][4]&&file!=null){
$("#mediaFiles").find(".video-list").eq(fileNum).find(".progress").eq(0).addClass("hide");
$("#mediaFiles").find(".video-list").eq(fileNum).find(".stop-continue").eq(0).addClass("hide");
$("#mediaFiles").find(".video-list").eq(fileNum).find('.success').eq(0).removeClass("hide");
//若是本文件傳完,開始傳輸下一個文件
if(fileNum<mediaFileArray.length-1&&mediaFileArray[fileNum+1][6]==0){
postFile(fileNum+1,0);
}
endCount++;
//若是全部的文件都傳輸完則跳轉回view
if(endCount>=mediaFileArray.length){
var location = (window.location+'').split('/');
var basePath = location[0]+'//'+location[2]+'/'+location[3];
window.location.href=basePath+"/micro/index?type="+$("#type").val();
}
return;
}
//服務端URL
var requestUrl = "micro/uploadSlice";
//構造一個表單,FormData是HTML5新增的
var form = new FormData();
if(file!=null){
form.append("data", file.slice(start,end)); //slice方法用於切出文件的一部分
}
//form.append("lastModified", file.lastModified); //文件最後修改時間不支持IE
form.append("name", mediaFileArray[fileNum][7]); //文件存儲名稱
form.append("fileType", mediaFileArray[fileNum][2]); //文件類型
form.append("total", mediaFileArray[fileNum][4]); //總片數
form.append("index", shardNum + 1); //當前是第幾片
form.append("oldName", oldName); //用戶自定義文件名
form.append("seq", fileNum); //文件所處的順序
form.append("microClassId", $("#microClassId").val()); //microClassId
//Ajax提交
$.ajax({
url: requestUrl,
type: "POST",
data: form,
async: true, //異步
processData: false, //很重要,告訴jquery不要對form進行處理
contentType: false, //很重要,指定爲false才能造成正確的Content-Type
success: function(data){
//顯示暫停按鈕
if(start==0&&file!=null){
$("#mediaFiles").find(".video-list").eq(fileNum).find(".stop-continue").eq(0).removeClass("hide");
}
mediaFileArray[fileNum][6]=shardNum+1;
if(data!="0"){
shardNum = data++;
console.log("當前分片數:",shardNum);
var num = Math.ceil(shardNum*mediaFileArray[fileNum][3]*100 / mediaFileArray[fileNum][1]); //百分比進度
//改變進度條進度
$("#mediaFiles").find(".video-list").eq(fileNum).find(".progress").eq(0).removeClass("hide");
$("#mediaFiles").find(".video-list").eq(fileNum).find(".progress-bar").eq(0).attr("style","width: "+num+"%;");
$("#mediaFiles").find(".video-list").eq(fileNum).find(".percent").eq(0).text(num+"%");
$("#mediaFiles").find(".video-list").eq(fileNum).find(".size").eq(0).text(shardNum*10+"/"+Math.ceil(mediaFileArray[fileNum][1]/(1024 * 1024))+"M");
//經過button狀態來判斷是否繼續上傳
var text = $("#mediaFiles").find(".video-list").eq(fileNum).find(".stop-continue").eq(0).text();
if(text == "暫停上傳") postFile(fileNum,shardNum);
}else{
//當修改文件爲空時的處理
$("#mediaFiles").find(".video-list").eq(fileNum).find('.success').eq(0).removeClass("hide");
endCount=endCount+1;
if(endCount<mediaFileArray.length){
postFile(fileNum+1,0);
}else{
$("#mediaFiles").find(".video-list").eq(fileNum).find(".progress").eq(0).addClass("hide");
$("#mediaFiles").find(".video-list").eq(fileNum).find(".stop-continue").eq(0).addClass("hide");
$("#mediaFiles").find(".video-list").eq(fileNum).find('.success').eq(0).removeClass("hide");
var location = (window.location+'').split('/');
var basePath = location[0]+'//'+location[2]+'/'+location[3];
window.location.href=basePath+"/micro/index?type="+$("#type").val();
}
}
},
error:function(xhr,errorText,errorType){
$("#wrong_msg").text("網絡錯誤,上傳失敗,請檢查網絡後繼續上傳!");
$("#tips1").modal("show");
mediaFileArray[fileNum][6]=shardNum;
$("#mediaFiles").find(".video-list").eq(fileNum).find(".stop-continue").eq(0).text("繼續上傳");
}
});
}else{
return;
}
}
//控制上傳狀態
function changeUploadStatus(that){
if($(that).text()=="暫停上傳"){
var fileNum = $(that).parents(".video-list").eq(0).index();
flag=1;
$(that).text("繼續上傳");
mediaFileArray[fileNum][5]=0;
if(fileNum<mediaFileArray.length-1 && mediaFileArray[fileNum+1][6]==0){
$(that).parents("#mediaFiles").find(".video-list").eq(fileNum+1).find(".stop-continue").eq(0).text("暫停上傳");
flag=0;
postFile(fileNum+1,mediaFileArray[fileNum+1][6]);
}
return;
}else{
var fileNum = $(that).parents(".video-list").eq(0).index();
var shardNum = mediaFileArray[fileNum][6];
for(var i=0; i<mediaFileArray.length; i++){
if(mediaFileArray[i][5]==1){
mediaFileArray[i][5]==0;
flag=1;
$(that).parents("#mediaFiles").find(".video-list").eq(i).find(".stop-continue").eq(0).text("繼續上傳");
}
}
flag=0;
mediaFileArray[fileNum][5]=1;
$(that).text("暫停上傳");
postFile(fileNum,shardNum);
return;
}
}
//用於生成uuid
function S4() {
return (((1+Math.random())*0x10000)|0).toString(16).substring(1);
}
function guid() {
return (S4()+S4()+S4()+S4()+S4()+S4()+S4()+S4());
}
</script>複製代碼
以上代碼爲前端控制文件上傳所需的代碼,以後介紹後臺部分的實現apache
後臺實現,主要是接收文件的分片,利用前端傳入惟一的新文件名稱,使用NIO的方式,將分片進行合併。
Controller實現
/** * @Description: 上傳文件分片 * * @param data * 分片文件 * @param fileType * 文件類型 video/avi audio/mp3 * @param name * 文件名稱(newName),由Client生成,即NewName 如 * MICRO_CLASS_1502179979829.mp4 * @param total * 分片總數 * @param index * 當前分片數 * @param microClassId * 文件關聯的MicroClass主鍵,經過先保存基本信息取得並返回(DataFile中的OwerID) * @param oldName * 由用戶本身輸入的節目名稱,須要與文件對應起來,如 實現兩個100年奮鬥目標 * @param seq * 文件的順序,如第一集對應1,第二集對應2.... * * @return index 當前合併到文件的分片數 * * @throws Exception */
@RequestMapping("/uploadSlice")
@ResponseBody
public Integer uploadSlice(MultipartFile data, String fileType, String name, Integer total, Integer index, Integer microClassId, String oldName, int seq) throws Exception {
int countFile = 0;// 記錄一次保存中上傳的文件數目
/** * oldName:使用輸入框中的字符串與fileId拼接,形如D1#D2 如: * 實現兩個100年奮鬥目標#36,其中「實現兩個100年奮鬥目標」在數據庫中存爲OldName,36表示數據庫中fileData主鍵 * * D1: 能夠爲空,表示用戶將Client獲取到的文件名稱刪除,而且未輸入任何字符串,能夠爲空; D2: * 能夠爲空,表示新增的文件,不爲空,則表示在修改頁面,傳回的fileID; **/
String[] str=oldName.split("#");
String oldNameFiled=null;
String fileDataId=null;
System.out.println(str);
switch (str.length) {
case 0:
break;
case 1:
oldNameFiled = oldName.split("#")[0];
break;
case 2:
oldNameFiled = oldName.split("#")[0];
fileDataId = oldName.split("#")[1];
break;
default:
break;
}
if (total == 0) {
// 表示在修改頁面,用戶只可能修改了oldName,可是未修改文件
if (fileDataId != null && !fileDataId.equals("")) {
if (oldNameFiled != null && !oldNameFiled.equals("")) {
dataFileService.updateOldNameById(fileDataId, oldNameFiled);//
}
}
} else {
if (index <= total) {//說明是有分片
String dirType = fileType.split("/")[0];// 文件類型,用於建立不一樣的目錄,如(video/audio)
String fileExt = "." + fileType.split("/")[1];// 文件擴展名,如.mp3/.mp4/.avi
System.out.println(data.getSize() + "----" + name + "-----" + total + "----" + index);
// 追加分片到已有的分片上,返回保存文件的路徑,如/fileDate/video/2017/08/09
String savePath = FileUtil.randomWrite(request, data.getBytes(), name, dirType, fileExt);
if (index == 1 && savePath != null) {// 說明是新的文件的第一個分片,在數據庫中建立相應的記錄,而且狀態爲無效,等到所有上傳完畢以後在修改成有效
dataFile = new DataFile();
dataFile.setOldName(oldNameFiled);
dataFile.setFileUrl(savePath);
dataFile.setNewName(name + fileExt);
dataFile.setOwerId(microClassId);
dataFile.setSeq(seq);
dataFile.setStatus(1);
dataFileService.saveDataFile(dataFile);
}
if (index == total) {// 說明已經成功上傳一個文件
// 根據文件名稱和OwerId來更新文件記錄,把記錄的狀態修改成0(有效)
dataFileService.updateByNewNameAndOwerId(name+fileExt, microClassId);
countFile++;
if (countFile == 1) {// 說明已經上傳成功一個文件,則吧MicroClass的狀態改成0(有效);
microClassService.updateMicroClass(microClassId);// 根據microClassId來修改status
}
LOGGER.info("已上傳 " + countFile + " 個文件");
}
return index++;
} else {
return 0;
}
}
return 0;
}複製代碼
FileUtil中randomWrite方法實現
/** * @Description: 分片文件追加 * @param request * @param sliceFile 分片文件 * @param name 文件名稱 * @param dirType 文件夾類型 如video/audio * @param fileExt 文件擴展名 如.mp4/.avi ./mp3 * @return */
public static String randomWrite(HttpServletRequest request, byte[] sliceFile, String name, String dirType,String fileExt) {
try {
/** 以讀寫的方式創建一個RandomAccessFile對象 **/
//獲取相對路徑/home/gzxiaoi/apache-tomcat-8.0.45/webapps
String realPath=getRealPath(request);
//拼接文件保存路徑 /fileDate/video/2017/08/09 若是沒有該文件夾,則建立
String savePath=getSavePath(realPath,dirType);
String realName = name;
String saveFile =realPath+ savePath + realName+fileExt;
RandomAccessFile raf = new RandomAccessFile(saveFile, "rw");
// 將記錄指針移動到文件最後
raf.seek(raf.length());
raf.write(sliceFile);
return savePath;
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
/** * @Description: 取得tomcat中的webapps目錄 如: /home/software/apache-tomcat-8.0.45/webapps * @param request * @return */
public static String getRealPath(HttpServletRequest request) {
String realPath = request.getSession().getServletContext().getRealPath(File.separator);
realPath = realPath.substring(0, realPath.length() - 1);
int aString = realPath.lastIndexOf(File.separator);
realPath = realPath.substring(0, aString);
return realPath;
}
/** * @Description: 獲取文件保存的路徑,若是沒有該目錄,則建立 * @param realPath 相對路徑 ,如 /home/software/apache-tomcat-8.0.45/webapps * @param fileType 文件類型 如: images/video/audio用於拼接文件保存路徑,區分音視頻 * @return */
public static String getSavePath(String realPath, String fileType) {
SimpleDateFormat year = new SimpleDateFormat("yyyy");
SimpleDateFormat m = new SimpleDateFormat("MM");
SimpleDateFormat d = new SimpleDateFormat("dd");
Date date = new Date();
String sp=File.separator + "fileDate" + File.separator +fileType + File.separator + year.format(date) + File.separator
+ m.format(date) + File.separator + d.format(date) + File.separator;
String savePath = realPath+ sp;
File folder = new File(savePath);
if (!folder.exists()) {
folder.mkdirs();
}
return sp;
}複製代碼
本篇文章主要從實際項目出發,介紹了文件上傳中所常見的一些狀況,以及具體的實現。在斷點續傳中,須要注意的關鍵點: