WGET經常使用命令 WGET下載HTTPS連接

　  wget是linux最經常使用的下載命令, 一般的運用要領是: 「wget 空格+要下載文件的url路徑」。

　　比方 : [linux]# wget http://www.test.com/xxxx/xxx.tar.gz

　　其中-c參數, 支持斷點續傳, 下載大文件時，假如不注意終止了, 可以繼續運用命令接着下載。

　　比方 : [linux]# wget -c http://www.test.com/xxxx/xxx.tar.gz

      直接使用wget下載github.com HTTPS連接，報錯

      [linux]# wget https://github.com/mitsuhiko/flask/archive/master.zip

[root@11_09 ~]# wget https://github.com/mitsuhiko/flask/archive/master.zip
--2013-08-18 12:55:24--  https://github.com/mitsuhiko/flask/archive/master.zip
Resolving github.com... 204.232.175.90
Connecting to github.com|204.232.175.90|:443... connected.
ERROR: cannot verify github.com's certificate, issued by `/C=US/O=DigiCert Inc/OU=www.digicert.com/CN=DigiCert High Assurance EV CA-1':
  Unable to locally verify the issuer's authority.
To connect to github.com insecurely, use `--no-check-certificate'.
Unable to establish SSL connection.

     增長一個選項--no-check-certificate

      [linux]# wget --no-check-certificate https://github.com/mitsuhiko/flask/archive/master.zip

 可又增長一個問題，保存下來的文件是master，未知是什麼格式。再增長一個選項-O xxx。

       [linux]# wget -O master.zip --no-check-certificate https://github.com/mitsuhiko/flask/archive/master.zip

     保存下來的是master.zip，與預想一致。配合-c參數，實現斷點續傳，PERFECT。    

    最絡結果：[linux]#wget -c -O master.zip --no-check-certificate https://github.com/mitsuhiko/flask/archive/master.zip

------------------------------------------------------------------

HTTPS (SSL/TLS) Options（HTTPS (SSL) 參數選項）
--certificate=file	可選的客戶段端證書
--private-key=file	對此證書可選的「密鑰文檔」
--private-key-type=type	對此證書可選的「密鑰類型「
--egd-file=file	EGD socket 文檔名
--ca-directory=directory	CA 散列表所在的目錄
--ca-certificate=file	包含 CA 的文檔
--certificate-type=[ PEM（默認），DER ]	Client-Cert 類型：PEM，DER
--no-check-certificate	不用檢查服務器的證書
--secure-protocol=[ auto，SSLv2，SSLv3，TLSv1 ]	選擇 SSL 協議：auto，SSLv2，SSLv3，TLSv1
FTP Options（FTP參數選項）
--ftp-user	登陸ftp的用戶名（注意：最好方法是在.netrc或.wgetrc文件中定義）
--ftp-password	登陸ftp的密碼（注意：最好方法是在.netrc或.wgetrc文件中定義）
--no-remove-listing	不刪除「.listing」 文檔
--no-glob	關閉全部通配符的ftp文檔名
--no-passive-ftp	禁用「被動」傳輸模式
--retr-symlinks	在遞歸模式中，下載連接所指示的文檔（排除鏈接目錄的）

 

wget  使用詳解

一、下載單個文件
wget url+filename

下載過程當中同時能夠看到四項信息
已經下載的比例
已經下載的大小
當前下載的速度
剩餘的時間

二、使用一個大寫O作參數表示另存爲
wget -O save_name url

這種方法適用於對應連接中沒有顯式文件名的狀況。

例如：wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701

再用不帶-O參數的下載一次。

ls -al
總計 132
drwxr-xr-x 2 root root 4096 07-12 10:43 .
drwxr-xr-x 4 root root 4096 07-11 16:26 ..
-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip

咱們發現，下載的大小都是同樣。可是不帶-O參數的，文件名還要轉換一次。不如用-O參數方便。

mv "download_script.php?src_id=7701" yy.zip

三、指定下載速率
方法是使用wget --limit-rate

wget程序默認是使用全部的帶寬，若是
是在生產服務器上下載很大的文件就不可接受了。
爲了不這種狀況使用--limit-rate參數
wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

四、斷點下載

使用wget -c完成未完成的下載

下載到一半須要停下來幹別的事情，用^c就能夠停頓住。

回來後，繼續下載能夠加一個-c參數。

注意：若是不加入-c，那麼下載的文件會多出一個.1的後綴。

五、在後臺下載
方法：加一個-b的參數

wget -b url/filename爲後臺下載。下載通過寫入到wget-log文件中。

用tail -f wget-log查看下載日誌

六、模擬在瀏覽器下下載

有的網站不容許客戶在非瀏覽器環境下下載。使用--user-agent來設置

wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

七、測試下載連接
方法:使用--spider

試圖作計劃下載時候，須要先檢查一下下載連接是否有效。

wget --spider DOWNLOAD-URL

若是返回OK，則表示下載連接是正確的！

例如

wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
Spider mode enabled. Check if remote file exists.
--2010-07-12 11:36:32-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主機 ip138.com... 221.5.47.136
Connecting to ip138.com|221.5.47.136|:80... 已鏈接。
已發出 HTTP 請求，正在等待迴應... 200 OK
長度：7817 (7.6K) [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

八、增長嘗試次數
方法：--tries=1000
若是網速有問題，下載大文件的時候可能會發生錯誤，
默認wget嘗試20次連接。

若是嘗試75次，能夠
wget --tires=75 DOWNLOAD-URL

九、下載多個文件使用wget -i
將多個下載連接寫入到一個download-file-list.txt文件中，然後用

wget -i download-file-list.txt

十、下載整站
方法：用--mirror參數

當你要下載一個完整站點並實現本地瀏覽的時候，
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

參數講解：
--mirror：設置這個參數用來創建本地鏡像
-p：下載全部html文件適合顯示的元素
--convert-links：下載完成後，將文檔連接都轉換成本地的
-P ./LOCAL-DIR：保存全部的文件和目錄到指定文件夾下

十一、下載時候禁止下載指定類型的文件

例以下載站點時候，不打算下載gif動畫圖片。

wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

十二、記錄下載日誌
方法：使用小寫字母o

wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

檢查一下日誌：
[root@localhost opt]# cat xx.html.log
--2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主機 ip138.com... 221.5.47.136
Connecting to ip138.com|221.5.47.136|:80... 已鏈接。
已發出 HTTP 請求，正在等待迴應... 200 OK
長度：7817 (7.6K) [text/html]
Saving to: `xx.html'

0K ....... 100% 65.5K=0.1s

2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]

1三、是第9條的加強版。能夠限制下載容量

wget -Q5m -i FILE-WHICH-HAS-URLS

當下載的文件達到5兆的時候，中止下載。
注意：若是不是對一個文件下載連接清單，對單個文件，
這個限制不會生效的。

1四、和第11條正好相反，
這條技巧是講述如何僅僅下載指定類型的文件

從一個網站中下載全部的pdf文件

wget -r -A.pdf http://url-to-webpage-with-pdfs/

1五、使用wget完成ftp下載

匿名ftp下載相似於http下載
wget ftp-url便可。

若是是須要輸入用戶名和密碼，則是

wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL