[轉］wget命令詳解,斷點續傳

wget 是一個基於命令行的網絡下載工具，具備如下特性：

（1）支持斷點下傳功能

（2）同時支持FTP和HTTP下載方式

（3）支持代理服務器

（4）設置方便簡單

（5）程序小，徹底免費

 

wget雖然功能強大，可是使用起來仍是比較簡單的，基本的語法是：wget [參數列表] URL。下面就結合具體的例子來講明一下wget的用法。

一、下載整個http或者ftp站點。

wget http://place.your.url/here

這個命令能夠將http://place.your.url/here 首頁下載下來。使用 -x 會強制創建服務器上如出一轍的目錄，若是使用 -nd 參數，那麼服務器上下載的全部內容都會加到本地當前目錄， 而不會新建目錄

wget -r http://place.your.url/here

這個命令會按照遞歸的方法，下載服務器上全部的目錄和文件，實質就是下載整個網站。這個命令必定要當心使用，由於在下載的時候，被下載網站指向的全部地址一樣會被下載，所以，若是這個網站引用了其餘網站，那麼被引用的網站也會被下載下來！基於這個緣由，這個參數不經常使用。能夠用 -l number 參數來指定下載的層次。例如只下載兩層，那麼使用-l 2。

要是您想製做鏡像站點，那麼可使用   -m  參數，例如：wget -m http://place.your.url/here

這時wget會自動判斷合適的參數來製做鏡像站點。此時，wget會登陸到服務器上，讀入robots.txt並按robots.txt的規定來執行。

二、斷點續傳。

當文件特別大或者網絡特別慢的時候，每每一個文件尚未下載完，鏈接就已經被切斷，此時就須要斷點續傳。wget的斷點續傳是自動的，只須要使用 -c 參數，例如：

wget -c http://the.url.of/incomplete/file

使用斷點續傳要求服務器支持斷點續傳。 -t 參數表示重試次數，例如須要重試100次，那麼就寫-t 100，若是設成-t 0，那麼表示無窮次重試，直到鏈接成功。 -T 參數表示超時等待時間，例如 -T 120，表示等待120秒鏈接不上就算超時。

三、批量下載。

若是有多個文件須要下載，那麼能夠生成一個文件，把每一個文件的URL寫一行，例如生成文件 download.txt，而後用命令：

wget -i download.txt

這樣就會把download.txt裏面列出的每一個URL都下載下來。（若是列的是文件就下載文件，若是列的是網站，那麼下載首頁）

四、選擇性的下載。

能夠指定讓wget只下載一類文件，或者不下載什麼文件。例如：

wget -m –reject=gif http://target.web.site/subdirectory

表示下載http://target.web.site/subdirectory，可是忽略gif文件。 –accept=LIST 能夠接受的文件類型， –reject=LIST拒絕接受的文件類型。

五、密碼和認證。

wget只能處理利用用戶名/密碼方式限制訪問的網站，能夠利用兩個參數：

–http-user=USER設置HTTP用戶
–http-passwd=PASS設置HTTP密碼

對於須要證書作認證的網站，就只能利用其餘下載工具了，例如 curl。

六、利用代理服務器進行下載。

若是用戶的網絡須要通過代理服務器，那麼可讓wget經過代理服務器進行文件的下載。此時 須要在當前用戶的主目錄下建立一個.wgetrc文件。文件中能夠設置代理服務器：

http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080

能夠經過wget的命令行參數指定代理服務器的用戶名和密碼: 

–proxy-user=USER設置代理用戶
–proxy-passwd=PASS設置代理密碼

 

使用參數 –proxy=on/off 使用或者關閉代理。

wget還有不少有用的功能，須要用戶去挖掘。

附錄：

命令格式：

wget [參數列表] [目標軟件、網頁的網址]

-V,–version       顯示軟件版本號而後退出；

-h,–help            顯示軟件幫助信息；

-e,–execute=COMMAND    做爲 「.wgetrc」的形式執行該命令,該命令會在.wgetrc中命令執行完後執行，此選項一般用於覆蓋".wgetrc"中的設置。你能夠指定多個-e 選項

 

-o, --output-file=FILE            將軟件輸出信息保存到文件；

-a, --append-output=FILE     將軟件輸出信息追加到文件；

-d,–debug                          顯示輸出信息；

-q,–quiet                            不顯示輸出信息；

-i,–input-file=FILE               從文件中取得URL；

-t --tries=NUMBER                   是否下載次數（0表示無窮次）

-O, --output-document=FILE      下載文件保存爲別的文件名

-nc,--no-clobber                      不要覆蓋已經存在的文件

-N,–timestamping                    只下載比本地新的文件

-T,–timeout=SECONDS           設置超時時間

-Y,–proxy=on/off                      關閉代理

-w                                            兩次嘗試之間等待多少秒，好比」-w 100″表示兩次嘗試 之間等待100秒；

-nd,–no-directories                     不創建目錄

-x,–force-directories                   強制創建目錄

–http-user=USER                      設置HTTP用戶

–http-passwd=PASS                 設置HTTP密碼

–proxy-user=USER                   設置代理用戶

–proxy-passwd=PASS              設置代理密碼

-r, --recursive                            載整個網站、目錄（當心使用）

-l,--evel=NUMBER                     下載層次

-A,–accept=LIST                      能夠接受的文件類型

-R,–reject=LIST                        拒絕接受的文件類型

-D,–domains=LIST                    能夠接受的域名

–exclude-domains=LIST           拒絕的域名

-L,–relative                               下載關聯連接

–follow-ftp                                只下載FTP連接

-H,–span-hosts                         能夠下載外面的主機

-I,–include-directories=LIST       容許的目錄

-X,–exclude-directories=LIST      拒絕的目錄

-b         讓wget在後臺運行，記錄文件寫在當前目錄下」wget-log」文件中；

 

-Q        限制下載文件的總大小，好比」-Q2k」表示不能超過2K 字節，」-Q3m」表示最多不能超過3M字節，若是數字後面什麼都不加，就表示是以字節爲單 位，好比」-Q200″表示最多不能超過200字節

-nd        不下載目錄結構，把從服務器全部指定目錄下載的文件都堆到當前目錄裏；

 -x         與 -nd 設置恰好相反，建立完整的目錄結構，例如」wget -nd http://www.gnu.org「將建立在當前目錄下建立」www.gnu.org「子目錄，而後按照服務器 實際的目錄結構一級一級建下去，直到全部的文件都傳完爲止；

-nH        不建立以目標主機域名爲目錄名的目錄，將目標主機的目錄結構直接下到當前目 錄下；

-l           下載遠程服務器目錄結構的深度，例如」-l 5″下載目錄深度小於或者等 於5之內的目錄結構或者文件

-m          作站點鏡像時的選項，若是你想作一個站點的鏡像，使用這個選項，它將自動設 定其餘合適的選項以便於站點鏡像；

-np          下載目標站點指定目錄及其子目錄的內容。這也是一個很是有用的選項，咱們 假設某我的的我的主頁裏面有一個指向這個站點其餘人我的主頁的鏈接，而咱們只想下載 這我的的我的主頁，若是不設置這個選項，甚至–有可能把整個站點給抓下來，