Wget使用詳解

wget是在Linux下開發的開放源代碼的軟件，做者是Hrvoje Niksic，後來被移植到包括Windows在內的各個平臺上。它有如下功能和特色：
（1）支持斷點下傳功能；這一點，也是網絡螞蟻和FlashGet當年最大的賣點，如今，Wget也可使用此功能，那些網絡不是太好的用戶能夠放心了；
（2）同時支持FTP和HTTP下載方式；儘管如今大部分軟件可使用HTTP方式下載，可是，有些時候，仍然須要使用FTP方式下載軟件；
（3）支持代理服務器；對安全強度很高的系統而言，通常不會將本身的系統直接暴露在互聯網上，因此，支持代理是下載軟件必須有的功能；
（4）設置方便簡單；可能，習慣圖形界面的用戶已經不是太習慣命令行了，可是，命令行在設置上其實有更多的優勢，最少，鼠標能夠少點不少次，也不要擔憂是否錯點鼠標；
（5）程序小，徹底免費；程序小能夠考慮不計，由於如今的硬盤實在太大了；徹底免費就不得不考慮了，即便網絡上有不少所謂的免費軟件，可是，這些軟件的廣告卻不是咱們喜歡的；

wget雖然功能強大，可是使用起來仍是比較簡單的，基本的語法是：wget [參數列表] URL。下面就結合具體的例子來講明一下wget的用法。
一、下載整個http或者ftp站點。
 

wget http://place.your.url/here

這個命令能夠將http://place.your.url/here 首頁下載下來。使用-x會強制創建服務器上如出一轍的目錄，若是使用-nd參數，那麼服務器上下載的全部內容都會加到本地當前目錄。

wget -r http://place.your.url/here

這個命令會按照遞歸的方法，下載服務器上全部的目錄和文件，實質就是下載整個網站。這個命令必定要當心使用，由於在下載的時候，被下載網站指向的全部地址同 樣會被下載，所以，若是這個網站引用了其餘網站，那麼被引用的網站也會被下載下來！基於這個緣由，這個參數不經常使用。能夠用-l number參數來指定下載的層次。例如只下載兩層，那麼使用-l 2。

要是您想製做鏡像站點，那麼可使用－m參數，例如：

wget -m http://place.your.url/here

這時wget會自動判斷合適的參數來製做鏡像站點。此時，wget會登陸到服務器上，讀入robots.txt並按robots.txt的規定來執行。

二、斷點續傳。
當文件特別大或者網絡特別慢的時候，每每一個文件尚未下載完，鏈接就已經被切斷，此時就須要斷點續傳。wget的斷點續傳是自動的，只須要使用-c參數，例如：
 

wget -c http://the.url.of/incomplete/file

使用斷點續傳要求服務器支持斷點續傳。-t參數表示重試次數，例如須要重試100次，那麼就寫-t 100，若是設成-t 0，那麼表示無窮次重試，直到鏈接成功。-T參數表示超時等待時間，例如-T 120，表示等待120秒鏈接不上就算超時。

三、批量下載。
若是有多個文件須要下載，那麼能夠生成一個文件，把每一個文件的URL寫一行，例如生成文件download.txt，而後用命令：

wget -i download.txt

這樣就會把download.txt裏面列出的每一個URL都下載下來。（若是列的是文件就下載文件，若是列的是網站，那麼下載首頁）

四、選擇性的下載。
能夠指定讓wget只下載一類文件，或者不下載什麼文件。例如：
 

wget -m --reject=gif http://target.web.site/subdirectory

表示下載http://target.web.site/subdirectory，可是忽略gif文件。--accept=LIST 能夠接受的文件類型，--reject=LIST拒絕接受的文件類型。

五、密碼和認證。
wget只能處理利用用戶名/密碼方式限制訪問的網站，能夠利用兩個參數：
--http-user=USER設置HTTP用戶
--http-passwd=PASS設置HTTP密碼
對於須要證書作認證的網站，就只能利用其餘下載工具了，例如curl。

六、利用代理服務器進行下載。
若是用戶的網絡須要通過代理服務器，那麼可讓wget經過代理服務器進行文件的下載。此時須要在當前用戶的目錄下建立一個.wgetrc文件。文件中能夠設置代理服務器：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
分別表示http的代理服務器和ftp的代理服務器。若是代理服務器須要密碼則使用：
--proxy-user=USER設置代理用戶
--proxy-passwd=PASS設置代理密碼
這兩個參數。
使用參數--proxy=on/off 使用或者關閉代理。
wget還有不少有用的功能，須要用戶去挖掘。

附錄：

命令格式：

wget [參數列表] [目標軟件、網頁的網址]

-V,--version 顯示軟件版本號而後退出；
-h,--help顯示軟件幫助信息；
-e,--execute=COMMAND 執行一個 ".wgetrc"命令

-o,--output-file=FILE 將軟件輸出信息保存到文件；
-a,--append-output=FILE將軟件輸出信息追加到文件；
-d,--debug顯示輸出信息；
-q,--quiet 不顯示輸出信息；
-i,--input-file=FILE 從文件中取得URL；

-t,--tries=NUMBER 是否下載次數（0表示無窮次）
-O --output-document=FILE下載文件保存爲別的文件名
-nc, --no-clobber 不要覆蓋已經存在的文件
-N,--timestamping只下載比本地新的文件
-T,--timeout=SECONDS 設置超時時間
-Y,--proxy=on/off 關閉代理

-nd,--no-directories 不創建目錄
-x,--force-directories 強制創建目錄

--http-user=USER設置HTTP用戶
--http-passwd=PASS設置HTTP密碼
--proxy-user=USER設置代理用戶
--proxy-passwd=PASS設置代理密碼

-r,--recursive 下載整個網站、目錄（當心使用）
-l,--level=NUMBER 下載層次

-A,--accept=LIST 能夠接受的文件類型
-R,--reject=LIST拒絕接受的文件類型
-D,--domains=LIST能夠接受的域名
--exclude-domains=LIST拒絕的域名
-L,--relative 下載關聯連接
--follow-ftp 只下載FTP連接
-H,--span-hosts 能夠下載外面的主機
-I,--include-directories=LIST容許的目錄
-X,--exclude-directories=LIST 拒絕的目錄

中文文檔名在日常的狀況下會被編碼， 可是在 --cut-dirs 時又是正常的，

wget -r -np -nH --cut-dirs=3 ftp://host/test/
測試.txt
wget -r -np -nH -nd ftp://host/test/
%B4%FA%B8%D5.txt
wget "ftp://host/test/*"
%B4%FA%B8%D5.txt

因爲不知名的緣由，多是爲了避開特殊檔名， wget 會自動將抓取檔名的部分用 encode_string 處理過， 因此該 patch 就把被 encode_string 處理成 "%3A" 這種東西， 用 decode_string 還原成 ":"，並套用在目錄與檔案名稱的部分，decode_string 是 wget 內建的函式。