wget使用小技巧

wget使用小技巧

 

wget是一個在命令行下下載文件的工具。
（1）支持斷點下傳功能
（2）同時支持FTP和HTTP下載方式
（3）支持代理服務器
（4）設置方便簡單
（5）程序小，徹底免費

簡單用法：
1.下載單個文件
如下的例子是從網絡下載一個文件並保存在當前目錄
wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

在下載的過程當中會顯示進度條，包含（下載完成百分比，已經下載的字節，當前下載速度，剩餘下載時間）。

2.以不一樣的文件名保存-O
wget默認會以最後一個符合」/」的後面的字符來命令，對於動態連接的下載一般文件名會不正確。
錯誤：下面的例子會下載一個文件並以名稱download.php?id=1080保存
    wget http://www.centos.bz/download?id=1
即便下載的文件是zip格式，它仍然以download.php?id=1080命令。
正確：爲了解決這個問題，咱們可使用參數-O來指定一個文件名：
wget -O wordpress.zip http://www.centos.bz/download.php?id=1080

3.限速下載--limit-rate
當你執行wget的時候，它默認會佔用所有可能的寬帶下載。可是當你準備下載一個大文件，而你還須要下載其它文件時就有必要限速了。
wget --limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

4.斷點續傳-c
使用wget -c從新啓動下載中斷的文件:
wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
對於下載大文件時忽然因爲網絡等緣由中斷很是有幫助，咱們能夠繼續接着下載而不是從新下載一個文件。

5.後臺下載-b
對於下載很是大的文件，可使用參數-b進行後臺下載。
wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Continuing in background, pid 1840.
Output will be written to `wget-log'.
你可使用如下命令來察看下載進度
tail -f wget-log

6.假裝,代理下載

a.user-agent假裝

有些網站能根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。能夠經過--user-agent參數假裝。
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" URL

b.代理

export proxy=http://192.168.0.254:8080

wget -Y on -pk http://www.test.com/test.jpg

7.測試下載連接--spider
當你打算進行定時下載，你應該在預約時間測試下載連接是否有效。能夠增長--spider參數進行檢查。

wget --spider URL

若是下載連接正確，將會顯示
wget --spider URL
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

這保證了下載能在預約的時間進行，但當你給錯了一個連接，將會顯示以下錯誤
wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!

在如下幾種狀況下使用spider參數：
a.定時下載以前進行檢查
b.間隔檢測網站是否可用
c.檢查網站頁面的死連接

8.增長重試次數--tries
若是網絡有問題或下載一個大文件也有可能失敗。
wget --tries=3 URL

9.下載文件列表中的多個文件-i
首先，保存一份下載連接文件
cat > filelist.txt
url1
url2
url3
url4
接着使用這個文件和參數-i下載
wget -i filelist.txt

在LFS中這招蠻好用的噢！

10.鏡像網站--mirror
a.下載整個網站到本地
wget --mirror -p --convert-links -P /root/  URL(或者wget -mkH http://www.test.com)
--miror #鏡像下載
-p #下載全部顯示正常的文件
--convert-links #下載後，轉換成本地的連接
-P  #保存全部文件和目錄到本地指定目錄

b.下載url某個目錄中的全部文件
wget -r -np -nd  http://www.test.com/packages
-r     #遞歸
-np    #不遍歷父目錄
-nd    #不在本機從新建立目錄結構

11.下載時過濾指定格式--reject

你想下載一個網站，但你不但願下載gif圖片，你可使用如下命令
wget --reject=gif url

 
12.下載信息存入日誌文件-o

你不但願下載信息直接顯示在終端而是在一個日誌文件，可使用如下命令：
wget -o download.log URL

13.限制總下載文件大小-Q
當你想要下載的文件超過5M而退出下載，你可使用如下命令:
wget -Q5m -i filelist.txt

注意：這個參數對單個文件下載不起做用，只能遞歸下載時纔有效。

14.下載指定格式文件-A
wget -r -A.pdf url

或者

wget -r -np -nd --acept=iso http://www.test.com/amd64

15.FTP下載
a.用戶名和密碼認證的ftp
wget --ftp-user=USERNAME --ftp-password=PASSWORD ftp://URL

或者wget --user=USERNAME --password=PASSWORD URL

後者ftp,http都適用。

b.使用通配符

wget ftp://www.test.com/pub/*

16.跳過非權威CA簽名的https網站

wget --tries=3 --no-check-certificate https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tar.xz

參數： -V, –version 顯示wget的版本後退出 -h, –help 打印語法幫助 -b, –background 啓動後轉入後臺執行 -e, –execute=COMMAND 執行`.wgetrc’格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc * 記錄和輸入文件 -o, –output-file=FILE 把記錄寫到FILE文件中 -a, –append-output=FILE 把記錄追加到FILE文件中 -d, –debug 打印調試輸出 -q, –quiet 安靜模式(沒有輸出) -v, –verbose 冗長模式(這是缺省設置) -nv, –non-verbose 關掉冗長模式，但不是安靜模式 -i, –input-file=FILE 下載在FILE文件中出現的URLs -F, –force-html 把輸入文件看成HTML格式文件對待 -B, –base=URL 將URL做爲在-F -i參數指定的文件中出現的相對連接的前綴 –sslcertfile=FILE 可選客戶端證書 –sslcertkey=KEYFILE 可選客戶端證書的KEYFILE –egd-file=FILE 指定EGD socket的文件名 * 下載 –bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用) -t, –tries=NUMBER 設定最大嘗試連接次數(0 表示無限制). -O –output-document=FILE 把文檔寫到FILE文件中 -nc, –no-clobber 不要覆蓋存在的文件或使用.#前綴 -c, –continue 接着下載沒下載完的文件 –progress=TYPE 設定進程條標記 -N, –timestamping 不要從新下載文件除非比本地文件新 -S, –server-response 打印服務器的迴應 –spider 不下載任何東西 -T, –timeout=SECONDS 設定響應超時的秒數 -w, –wait=SECONDS 兩次嘗試之間間隔SECONDS秒 –waitretry=SECONDS 在從新連接之間等待1…SECONDS秒 –random-wait 在下載之間等待0…2*WAIT秒 -Y, –proxy=on/off 打開或關閉代理 -Q, –quota=NUMBER 設置下載的容量限制 –limit-rate=RATE 限定下載輸率 * 目錄 -nd –no-directories 不建立目錄 -x, –force-directories 強制建立目錄 -nH, –no-host-directories 不建立主機目錄 -P, –directory-prefix=PREFIX 將文件保存到目錄 PREFIX/… –cut-dirs=NUMBER 忽略 NUMBER層遠程目錄 * HTTP 選項 –http-user=USER 設定HTTP用戶名爲 USER. –http-passwd=PASS 設定http密碼爲 PASS. -C, –cache=on/off 容許/不容許服務器端的數據緩存 (通常狀況下容許). -E, –html-extension 將全部text/html文檔以.html擴展名保存 –ignore-length 忽略 `Content-Length’頭域 –header=STRING 在headers中插入字符串 STRING –proxy-user=USER 設定代理的用戶名爲 USER –proxy-passwd=PASS 設定代理的密碼爲 PASS –referer=URL 在HTTP請求中包含 `Referer: URL’頭 -s, –save-headers 保存HTTP頭到文件 -U, –user-agent=AGENT 設定代理的名稱爲 AGENT而不是 Wget/VERSION. –no-http-keep-alive 關閉 HTTP活動連接 (永遠連接). –cookies=off 不使用 cookies. –load-cookies=FILE 在開始會話前從文件 FILE中加載cookie –save-cookies=FILE 在會話結束後將 cookies保存到 FILE文件中 * FTP 選項 -nr, –dont-remove-listing 不移走 `.listing’文件 -g, –glob=on/off 打開或關閉文件名的 globbing機制 –passive-ftp 使用被動傳輸模式 (缺省值). –active-ftp 使用主動傳輸模式 –retr-symlinks 在遞歸的時候，將連接指向文件(而不是目錄) * 遞歸下載 -r, –recursive 遞歸下載－－慎用! -l, –level=NUMBER 最大遞歸深度 (inf 或 0 表明無窮). –delete-after 在如今完畢後局部刪除文件 -k, –convert-links 轉換非相對連接爲相對連接 -K, –backup-converted 在轉換文件X以前，將之備份爲 X.orig -m, –mirror 等價於 -r -N -l inf -nr. -p, –page-requisites 下載顯示HTML文件的全部圖片 * 遞歸下載中的包含和不包含(accept/reject) -A, –accept=LIST 分號分隔的被接受擴展名的列表 -R, –reject=LIST 分號分隔的不被接受的擴展名的列表 -D, –domains=LIST 分號分隔的被接受域的列表 –exclude-domains=LIST 分號分隔的不被接受的域的列表 –follow-ftp 跟蹤HTML文檔中的FTP連接 –follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表 -G, –ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表 -H, –span-hosts 當遞歸時轉到外部主機 -L, –relative 僅僅跟蹤相對連接 -I, –include-directories=LIST 容許目錄的列表 -X, –exclude-directories=LIST 不被包含目錄的列表 -np, –no-parent 不要追溯到父目錄