從放棄迅雷和IDM到本身開發下載工具

前言

在這個網絡帶寬飛速增加的年代，下載文件要充分利用好網速就得用到下載工具，好比迅雷、IDM。然而貧窮限制了下載速度，這兩個下載軟件不花錢毫無體驗可言。本人兩年迅雷年費會員在離線下載愈來愈形如虛設的狀況下，選擇投入了IDM的懷抱，然而IDM醜陋的界面和破解版的無限彈框讓我產生了開發一款屬於本身下載器的想法。

成果

沒圖說個xx，下圖是在20M帶寬的狀況下載網盤文件的過程，能夠看到網速基本跑滿。

下載試用，須要JAVA8+運行環境。
啓動：

java -jar proxyee-down-1.3.jar
訪問http://127.0.0.1:9999，點擊ProxyeeRoot ca.crt下載證書並安裝到受信任的根證書頒發機構中
設置瀏覽器http代理爲127.0.0.1:9999便可

關於證書導入

• windows系統

訪問http://127.0.0.1:9999,下載證書，要選擇受信任的根證書頒發機構目錄

• 安卓

用原生瀏覽器訪問http://serverIp:9999,下載證書

介紹

本下載器開源，代碼託管在proxyee-down，是一款基於http代理服務器嗅探http下載請求的下載工具，支持插件化開發，目前內置百度雲大文件下載限制插件和百度雲合併下載限制插件。

技術簡介

本項目使用java+netty+spring boot+vue.js+element ui編寫，這裏只談一談核心的技術點，細節請參考源碼。

1. http代理
   基於http代理服務器來實現下載請求的嗅探，實現了https的報文解密，在代理服務器嗅探到下載請求頭時，進行攔截處理。

   //例如Content-Disposition請求頭攔截
   Content-Disposition,attachment;filename=FileName.txt

   以後修改響應體跳轉到前端下載頁面

   HTTP/1.1 200 OK
   Conten-type:text/html
   Conten-length:129
   
   <script>window.top.location.href='http://localhost:9000"</script>

2. http斷點下載
   攔截到下載請求以後，自動試探下載請求是否支持http斷點下載。

   //發送range請求頭,下載一個字節
   range:bytes=0-0

   若支持斷點下載則可開啓分段下載

   //返回206響應碼
   HTTP/1.1 206 Partial Content

   根據前端填寫的下載段數計算出每一個請求的下載範圍

   //例如文件總大小爲10byte分紅2段下載
   //第一段請求頭
   range:bytes=0-4
   //第二段請求頭
   range:bytes=5-9

   下載完以後全部段落按順序合併，看看這裏是否是很像IDM，其實原理是同樣的。

後記

在寫此下載器的過程當中對http和https協議又有了新的認識，特別是https若不能實現https的報文解密就作不到https下載請求的嗅探,在熟悉https協議後採用MITM（中間人攻擊）動態生成ssl證書的方式，來對https的報文進行解密。http代理服務器核心已經獨立出來了，託管在proxyee，能夠輕易的對http(s)協議進行攔截和處理。