10 wget

wget命令相似於curl,都是用於下載web內容的。html

 

0000 0000web

下載單個文件時什麼參數都不加,默認會把文件文件下載到當前文件夾下:bash

wget http://www/baidu.com

 

0000 0001服務器

能夠將下載的文件指定保留位置及相應的名稱,使用-O選項:curl

wget -O /var/www/index.html  http://www.baidu.com

 

0000 0010ide

若是要下載多個連接,能夠將這些url保存在一個文件中,讓wget從文件中去讀取url,使用-i選項:測試

wget -i file.txt 

 

0000 0011網站

如同不少命令都有一個-n選項來抑制輸出同樣,該命令也有一個選項能實現相似功能,不過它使用-b:url

wget -b htp://www.baidu.com

 此時該命令的輸出將大部分被抑制,相應內容被保存到當前文件夾下的wget-log中htm

 

0000 0100

wget支持斷點續傳,使用-c選項

 

0000 0101

wget竟然能支持限制速率的下載,使用--limit-rate=rate的方法:

wget --limit-rate=100k http://www.baidu.com

 

0000 0110

wget也能夠只是單純的用來測試網站是否能正常訪問,使用--spider選項

wget --spider http://www.baidu.com

 

0000 0111

既然是http,天然就可能會超時,此時使用--tries選項設置請求次數:

wget --tries=3 http://www.baidu.com

 

0000 1000

wget能夠下載整個web頁面上全部的連接內容:

wget --mirror -p --convert-links -P./test http://localhost

 --mirror彷佛表示無限遞歸查找下載;

 -p表示下載全部顯示頁面必須的連接;

 -P表示下載連接到指定目錄下;

 --convert-links,這個參數沒有整明白,彷佛man手冊裏邊沒有。

 

0000 1001

當下載一個頁面上全部的連接時能夠指定不下載哪些類型,使用--reject選項:

wget --reject=png --mirror -p --convert-links -P./test http://localhost

 以上下載時不下載那些png圖片。

 

0000 1010

當下載多個連接時,能夠不下載頁面太大的文件,使用-Q選項限制大小:

wget -Q5m -i file.txt

 以上下載時大小大於5m的頁面將不會處理,但要求-i對應的文件中有多於一個鏈接,不然無效;

 

0000 1011

1001中說能夠先定不下載某些類型的文件,也能夠設置下載某些類型的文件,使用-A:

wget -r -A .png http://www.baidu.com

 以上代碼會下載全部png文件

 

0000 1100

上面的命令中用到了-r,這個選項主要是說要遞歸的下載,默認遞歸最大深度是5,能夠自定義這個深度,使用-l:

wget -r -l10 -A .png http://www.baidu.com

 

0000 1101

若是是從ftp服務器下載也能夠,不過須要傳入用戶名和密碼:

wget --file-user=USERNAME --file-password=PASSWORD url
相關文章
相關標籤/搜索