wget(1.11.4) for win

下載wget(1.11.4) for winhtml

安裝 瀏覽器

添加wget環境變量,這樣使用就更方便了,右鍵計算機->屬性->高級系統設置->高級->環境變量->選中PATH->編輯,在最後添加 緩存

;C:\Program Files (x86)\GnuWin32\bin

 

  1. 下載文件
    複製代碼
    wget 網址

     

     
       
    複製代碼
  2. 而要讓檔案自動儲存到指令的目錄下,則須要借用-P這個參數,可使用如下的指令bash

    複製代碼
    wget -P 目錄 網址
    舉例來講,若是你要放到/root底下,你能夠打下列的指令:
    
    wget -P /root 網址
    
    wget -P D:\xxx.zip http://www.xdown.com/xxx.zip
    
    wget -O "D:\xxx.zip" http://www.xdown.com/xxx.zip
    複製代碼
  3. 用wget下載東西,的確很方便,它會自動重連並斷點續傳。讓人很放心。
    常常要下載一個網站或網站的某個目錄。
    下載一個目錄,例以下載網站www.example.com/目錄mydir下的全部內容
    複製代碼
    命令以下:
    wget -r -p -k -np -nc -e robots=off http://www.example.com/mydir/
    若是要想下載整個網站,最好去除-np參數。   
    wget -r -p -k -nc -e robots=off http://www.example.com/mydir/
     
    -r 遞歸;對於HTTP主機,wget首先下載URL指定的文件,而後(若是該文件是一個HTML文檔的話)遞歸下載該文件所引用(超級鏈接)的全部文件(遞 歸深度由參數-l指定)。對FTP主機,該參數意味着要下載URL指定的目錄中的全部文件,遞歸方法與HTTP主機相似。   
    -c 指定斷點續傳功能。實際上,wget默認具備斷點續傳功能,只有當你使用別的ftp工具下載了某一文件的一部分,並但願wget接着完成此工做的時候,才 須要指定此參數。
     
    -nc 不下載已經存在的文件
    -np 表示不追溯至父目錄,不跟隨連接,只下載指定目錄及子目錄裏的東西;
    -p 下載頁面顯示所需的全部文件。好比頁面中包含了圖片,可是圖片並不在/yourdir目錄中,而在/images目錄下,有此參數,圖片依然會被正常下 載。
     
    -k 修復下載文件中的絕對鏈接爲相對鏈接,這樣方便本地閱讀。
    -o down.log 記錄日記到down.log
    -e robots=off 忽略robots.txt

 

 

 Wget 的使用
  服務器

1)支持斷點下傳功能cookie

2)同時支持FTP和HTTP下載方式網絡

3)支持代理服務器app

4)設置方便簡單dom

5)程序小,徹底免費;  
socket

命令格式:  
  wget [參數列表] [目標軟件、網頁的網址]
  
  一、啓動類參數
  
  這一類參數主要提供軟件的一些基本信息;
  
  -V,--version 顯示軟件版本號而後退出;
  -h,--help顯示軟件幫助信息;
  -e,--execute=COMMAND 執行一個 「.wgetrc」命令
  
  以上每個功能有長短兩個參數,長短功能同樣,均可以使用。須要注意的是,這裏的-e參數是執行一個.wgettrc的命令,.wgettrc命令實際上是一個參數列表,直接將軟件須要的參數寫在一塊兒就能夠了。
  
  二、文件處理參數
  
  這類參數定義軟件log文件的輸出方式等;
  
  -o,--output-file=FILE 將軟件輸出信息保存到文件;
  -a,--append-output=FILE將軟件輸出信息追加到文件;
  -d,--debug顯示輸出信息;
  -q,--quiet 不顯示輸出信息;
  -i,--input-file=FILE 從文件中取得URL;
  
  以上參數對於攻擊者比較有用,咱們來看看具體使用;
  
  例1:下載192.168.1.168首頁而且顯示下載信息
  wget -dhttp://192.168.1.168
  
  例2:下載192.168.1.168首頁而且不顯示任何信息
  wget -qhttp://192.168.1.168
  
  例3:下載filelist.txt中所包含的連接的全部文件
  wget -i filelist.txt
  
  
  wget -np -m -l5 http://jpstone.bokee.com //不下載本站所連接的其它站點內容,5級目錄結構
  三、下載參數
  
  下載參數定義下載重複次數、保存文件名等;
  
  -t,--tries=NUMBER 是否下載次數(0表示無窮次)
  -O --output-document=FILE下載文件保存爲別的文件名
  -nc, --no-clobber 不要覆蓋已經存在的文件
  -N,--timestamping只下載比本地新的文件
  -T,--timeout=SECONDS 設置超時時間
  -Y,--proxy=on/off 關閉代理
  
  例:下載192.168.1.168的首頁並將下載過程當中的的輸入信息保存到test.htm文件中
  wget -o test.htmhttp://192.168.1.168
  
  四、目錄參數
  
  目錄參數主要設置下載文件保存目錄與原來文件(服務器文件)的目錄對應關係;
  
  -nd --no-directories 不創建目錄
  -x,--force-directories 強制創建目錄
  可能如今咱們對這裏的目錄還不是很瞭解,咱們來看一個舉例
  
  例:下載192.168.1.168的首頁,而且保持網站結構
  wget -xhttp://192.168.1.168
  
  
  五、HTTP參數
  
  HTTP參數設置一些與HTTP下載有關的屬性;
  
  --http-user=USER設置HTTP用戶
  --http-passwd=PASS設置HTTP密碼
  --proxy-user=USER設置代理用戶
  --proxy-passwd=PASS設置代理密碼
  
  以上參數主要設置HTTP和代理的用戶、密碼;
  
  六、遞歸參數設置
  
  在下載一個網站或者網站的一個目錄的時候,咱們須要知道的下載的層次,這些參數就能夠設置;
  -r,--recursive 下載整個網站、目錄(當心使用)
  -l,--level=NUMBER 下載層次
  
  例:下載整個網站
  wget -rhttp://192.168.1.168
  
  七、遞歸容許與拒絕選項參數
  
  下載一個網站的時候,爲了儘可能快,有些文件能夠選擇下載,好比圖片和聲音,在這裏能夠設置;
  
  -A,--accept=LIST 能夠接受的文件類型
  -R,--reject=LIST拒絕接受的文件類型
  -D,--domains=LIST能夠接受的域名
  --exclude-domains=LIST拒絕的域名
  -L,--relative 下載關聯連接
  --follow-ftp 只下載FTP連接
  -H,--span-hosts 能夠下載外面的主機
  -I,--include-directories=LIST容許的目錄
  -X,--exclude-directories=LIST 拒絕的目錄
  
  
  如何設定wget所使用的代理服務器
  wget可使用用戶設置文件".wgetrc"來讀取不少設置,咱們這裏主要利用這個文件來是
  設置代理服務器。使用者用什麼用戶登陸,那麼什麼用戶主目錄下的".wgetrc"文件就起
  做用。例如,"root"用戶若是想使用".wgetrc"來設置代理服務器,"/root/.wgetrc"就起
  做用,下面給出一個".wgetrc"文件的內容,讀者能夠參照這個例子來編寫本身的"wgetrc"文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  這兩行的含義是,代理服務器IP地址爲:111.111.111.111,端口號爲:80。第一行指定
  HTTP協議所使用的代理服務器,第二行指定FTP協議所使用的代理服務器。
  
  
  
  WGet使用指南
  wget是一個從網絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協議,可使用HTTP代理.
  
  所謂的自動下載是指,wget能夠在用戶退出系統的以後在後臺執行。這意味這你能夠登陸系統,啓動一個wget下載任務,而後退出系統,wget將在後臺執行直到任務完成,相對於其它大部分瀏覽器在下載大量數據時須要用戶一直的參與,這省去了極大的麻煩。
  
  wget 能夠跟蹤HTML頁面上的連接依次下載來建立遠程服務器的本地版本,徹底重建原始站點的目錄結構。這又常被稱做」遞歸下載」。在遞歸下載的時候,wget 遵循Robot Exclusion標準(/robots.txt). wget能夠在下載的同時,將連接轉換成指向本地文件,以方便離線瀏覽。
  
  wget 很是穩定,它在帶寬很窄的狀況下和不穩定網絡中有很強的適應性.若是是因爲網絡的緣由下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。若是是服務 器打斷下載過程,它會再次聯到服務器上從中止的地方繼續下載。這對從那些限定了連接時間的服務器上下載大文件很是有用。
  
  wget的常見用法
  wget的使用格式
  
  Usage: wget [OPTION]... [URL]...用wget作站點鏡像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab...在不穩定的網絡上下載一個部分下載的文件,以及在空閒時段下載
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 或者從filelist讀入要下載的文件列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &上面的代碼還能夠用來在網絡比較空閒的時段進行下載。個人用法是:在mozilla中將不方便當時下載的URL連接拷貝到內存中而後粘貼到文件 filelist.txt中,在晚上要出去系統前執行上面代碼的第二條。
  
  使用代理下載
  wget -Y on -p -khttps://sourceforge.net/pr...代理能夠在環境變量或wgetrc文件中設定
  
  # 在環境變量中設定代理
  export PROXY=http://211.90.168.94:8080/
  # 在~/.wgetrc中設定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:...各類選項分類列表
  啓動
  -V, --version 顯示wget的版本後退出
  -h, --help 打印語法幫助
  -b, --background 啓動後轉入後臺執行
  -e, --execute=COMMAND 執行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc記錄和輸入文件
  -o, --output-file=FILE 把記錄寫到FILE文件中
  -a, --append-output=FILE 把記錄追加到FILE文件中
  -d, --debug 打印調試輸出
  -q, --quiet 安靜模式(沒有輸出)
  -v, --verbose 冗長模式(這是缺省設置)
  -nv, --non-verbose 關掉冗長模式,但不是安靜模式
  -i, --input-file=FILE 下載在FILE文件中出現的URLs
  -F, --force-html 把輸入文件看成HTML格式文件對待
  -B, --base=URL 將URL做爲在-F -i參數指定的文件中出現的相對連接的前綴
  --sslcertfile=FILE 可選客戶端證書
  --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
  --egd-file=FILE 指定EGD socket的文件名下載
  --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
  -t, --tries=NUMBER 設定最大嘗試連接次數(0 表示無限制).
  -O --output-document=FILE 把文檔寫到FILE文件中
  -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
  -c, --continue 接着下載沒下載完的文件
  --progress=TYPE 設定進程條標記
  -N, --timestamping 不要從新下載文件除非比本地文件新
  -S, --server-response 打印服務器的迴應
  --spider 不下載任何東西
  -T, --timeout=SECONDS 設定響應超時的秒數
  -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
  --waitretry=SECONDS 在從新連接之間等待1...SECONDS秒
  --random-wait 在下載之間等待0...2*WAIT秒
  -Y, --proxy=on/off 打開或關閉代理
  -Q, --quota=NUMBER 設置下載的容量限制
  --limit-rate=RATE 限定下載輸率目錄
  -nd --no-directories 不建立目錄
  -x, --force-directories 強制建立目錄
  -nH, --no-host-directories 不建立主機目錄
  -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
  --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄HTTP 選項
  --http-user=USER 設定HTTP用戶名爲 USER.
  --http-passwd=PASS 設定http密碼爲 PASS.
  -C, --cache=on/off 容許/不容許服務器端的數據緩存 (通常狀況下容許).
  -E, --html-extension 將全部text/html文檔以.html擴展名保存
  --ignore-length 忽略 `Content-Length"頭域
  --header=STRING 在headers中插入字符串 STRING
  --proxy-user=USER 設定代理的用戶名爲 USER
  --proxy-passwd=PASS 設定代理的密碼爲 PASS
  --referer=URL 在HTTP請求中包含 `Referer: URL"頭
  -s, --save-headers 保存HTTP頭到文件
  -U, --user-agent=AGENT 設定代理的名稱爲 AGENT而不是 Wget/VERSION.
  --no-http-keep-alive 關閉 HTTP活動連接 (永遠連接).
  --cookies=off 不使用 cookies.
  --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
  --save-cookies=FILE 在會話結束後將 cookies保存到 FILE文件中FTP 選項
  -nr, --dont-remove-listing 不移走 `.listing"文件
  -g, --glob=on/off 打開或關閉文件名的 globbing機制
  --passive-ftp 使用被動傳輸模式 (缺省值).
  --active-ftp 使用主動傳輸模式
  --retr-symlinks 在遞歸的時候,將連接指向文件(而不是目錄)遞歸下載
  -r, --recursive 遞歸下載--慎用!
  -l, --level=NUMBER 最大遞歸深度 (inf 或 0 表明無窮).
  --delete-after 在如今完畢後局部刪除文件
  -k, --convert-links 轉換非相對連接爲相對連接
  -K, --backup-converted 在轉換文件X以前,將之備份爲 X.orig
  -m, --mirror 等價於 -r -N -l inf -nr.
  -p, --page-requisites 下載顯示HTML文件的全部圖片遞歸下載中的包含和不包含(accept/reject)
  -A, --accept=LIST 分號分隔的被接受擴展名的列表
  -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
  -D, --domains=LIST 分號分隔的被接受域的列表
  --exclude-domains=LIST 分號分隔的不被接受的域的列表
  --follow-ftp 跟蹤HTML文檔中的FTP連接
  --follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表
  -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表
  -H, --span-hosts 當遞歸時轉到外部主機
  -L, --relative 僅僅跟蹤相對連接
  -I, --include-directories=LIST 容許目錄的列表
  -X, --exclude-directories=LIST 不被包含目錄的列表
  -np, --no-parent 不要追溯到父目錄
  
  
  Wget使用技巧 
  wget的使用形式是:
  wget [參數列表] URL
  首先來介紹一下wget的主要參數:
  ・ -b:讓wget在後臺運行,記錄文件寫在當前目錄下"wget-log"文件中;
  ・ -t [nuber of times]:嘗試次數,當wget沒法與服務器創建鏈接時,嘗試鏈接多少次
  。好比"-t
  120"表示嘗試120次。當這一項爲"0"的時候,指定嘗試無窮屢次直到鏈接成功爲止,這個
  設置很是有用,當對方服務器忽然關機或者網絡忽然中斷的時候,能夠在恢復正常後繼續
  下載沒有傳完的文件;
  ・ -c:斷點續傳,這也是個很是有用的設置,特別當下載比較大的文件的時候,若是中
  途意外中斷,那麼鏈接恢復的時候會從上次沒傳完的地方接着傳,而不是又從頭開始,使
  用這一項須要遠程服務器也支持斷點續傳,通常來說,基於UNIX/Linux的Web/FTP服務器
  都支持斷點續傳;
  ・ -T [number of seconds]:超時時間,指定多長時間遠程服務器沒有響應就中斷鏈接
  ,開始下一次嘗試。好比"-T
  120"表示若是120秒之後遠程服務器沒有發過來數據,就從新嘗試鏈接。若是網絡速度比
  較快,這個時間能夠設置的短些,相反,能夠設置的長一些,通常最多不超過900,一般
  也很多於60,通常設置在120左右比較合適;
  ・ -w [number of seconds]:在兩次嘗試之間等待多少秒,好比"-w 100"表示兩次嘗試
  之間等待100秒;
  ・ -Y on/off:經過/不經過代理服務器進行鏈接;
  ・ -Q [byetes]:限制下載文件的總大小最多不能超過多少,好比"-Q2k"表示不能超過2K
  字節,"-Q3m"表示最多不能超過3M字節,若是數字後面什麼都不加,就表示是以字節爲單
  位,好比"-Q200"表示最多不能超過200字節;
  ・ -nd:不下載目錄結構,把從服務器全部指定目錄下載的文件都堆到當前目錄裏;
  ・ -x:與"-nd"設置恰好相反,建立完整的目錄結構,例如"wget -ndhttp://www.gnu.org"將建立在當前目錄下建立"w...,而後按照服務器
  實際的目錄結構一級一級建下去,直到全部的文件都傳完爲止;
  ・ -nH:不建立以目標主機域名爲目錄名的目錄,將目標主機的目錄結構直接下到當前目
  錄下;
  ・ --http-user=username
  ・ --http-passwd=password:若是Web服務器須要指定用戶名和口令,用這兩項來設定;
  ・ --proxy-user=username
  ・ --proxy-passwd=password:若是代理服務器須要輸入用戶名和口令,使用這兩個選項
  ;
  ・ -r:在本機創建服務器端目錄結構;
  ・ -l [depth]:下載遠程服務器目錄結構的深度,例如"-l 5"下載目錄深度小於或者等
  於5之內的目錄結構或者文件;
  ・ -m:作站點鏡像時的選項,若是你想作一個站點的鏡像,使用這個選項,它將自動設
  定其餘合適的選項以便於站點鏡像;
  ・ -np:只下載目標站點指定目錄及其子目錄的內容。這也是一個很是有用的選項,咱們
  假設某我的的我的主頁裏面有一個指向這個站點其餘人我的主頁的鏈接,而咱們只想下載
  這我的的我的主頁,若是不設置這個選項,甚至--有可能把整個站點給抓下來,這顯然是
  咱們一般不但願的;
  ü 如何設定wget所使用的代理服務器
  wget可使用用戶設置文件".wgetrc"來讀取不少設置,咱們這裏主要利用這個文件來是
  設置代理服務器。使用者用什麼用戶登陸,那麼什麼用戶主目錄下的".wgetrc"文件就起
  做用。例如,"root"用戶若是想使用".wgetrc"來設置代理服務器,"/root/.wgert"就起
  做用,下面給出一個".wge
  trc"文件的內容,讀者能夠參照這個例子來編寫本身的"wgetrc"文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  這兩行的含義是,代理服務器IP地址爲:111.111.111.111,端口號爲:80。第一行指定
  HTTP協議所使用的代理服務器,第二行指定FTP協議所使用的代理服務器。
  wget 使用實例:
  wget是一個命令行工具,用於批量下載文件,支持HTTP和FTP。究竟比其餘的工具好在哪裏?看看內容吧 
  
  wget基本上全部的Linux版本都本身帶了,可是有多少人在用呢?呵呵,若是你沒有用過,不妨試試。Windows下面的用戶可使用GNUwin32的項目,wget,基本功能徹底一致。好吧,咱們來以幾個簡單的例子看看wget的威力。
  
  若是咱們想下載ftp裏面某個目錄裏面的全部文件,咱們也能夠不用ftp這個笨蛋,呵呵,能夠享受cute ftp等圖形化工具的拖一個目錄的輕鬆了。如
  
  
  wget -rftp://10.8.8.8/movie/
  
  呵呵,等吧!下完了,發覺有些不對勁,怎麼出來個10.8.8.8的目錄,進去看看,又是一個movie,哦,wget將目錄結構和網站標題都給記錄下來了,不要??沒有問題!好比說仍是這個例子
  
  wget -r -ndftp://10.8.8.8/movie/
  
  結果什麼目錄都沒有了,faint!怎麼會這樣?呵呵,你若是想要這樣就讓它這樣吧,不然使用
  
  wget -r -nHftp://10.8.8.8/movie/
  
  恩?movie也不要?OK,那就這樣
  
  wget -r -nH --cut-dirs=1ftp://10.8.8.8/movie/
  
  這有什麼用啊?cuteftp比他好用多了,並且,你這斷了線能連嗎?呵呵,很差意思,能夠連
  
  wget -c -r -nH --cut-dirs=1ftp://10.8.8.8/movie/
  
  
  但 是cuteftp能作下面的事情嗎?好比,如今不少網站使用Apache建站,並不提供ftp服務,可是Apache有一個indexing功能,能夠提 供一個相似於ftp的界面,好多文件我想下啊,怎麼辦?因爲是HTTP協議,CuteFTP無能爲力了,卻是flash get等有什麼get all這種功能,不知道他們對於目錄處理怎麼樣。可是wget一點問題都沒有,不信?咱們拿CTAN爲例(例子並不恰當,CTAN有FTP服務),咱們下 載這裏面全部的宏包,呵呵
  
  wget -r -khttp://www.txia.com/blog
  
  -k表示將鏈接轉換爲本地鏈接。可是如今一樣有上面的問題啊,那就把你須要的加上吧,另外也許你根本不須要向下走那麼多層,好比,咱們就要到第二層,那麼
  
  wget -r -l2 -khttp://www.txia.com/blog
  
  如今新的問題是,因爲網頁有一個排序功能,很討厭,由於下載的時候把網頁重複了好屢次,那麼咱們可以使用-A和-R開關控制下載類型,而且可使用通配符,呵呵,如今爲所欲爲了吧
  
  wget -r -R "*.htm*?*" -khttp://www.txia.com/blog
  
  此次沒有那種網頁了吧?-R的意義在於拒絕下載匹配類型的文件,-A表示僅僅接受的文件類型,如-A "*.gif"將僅下載gif圖片,若是有多個容許或者不容許,可使用,分開。
  
  那 麼,咱們如今在使用代理服務器,怎麼辦呢?呵呵,很高興你選擇了wget,你可使用它的配置文件,環境變量來利用代理。這裏推薦使用環境變量,如在 bash裏面咱們能夠把每天用的proxy加到.bash_profile裏面,這是Linux標準寫法(不少軟件都用的,什麼apt-get,yum等 等)
  
  export http_proxy=http://10.20.30.40:8080
  
  而後,proxy就默認打開了,若是須要暫時關閉,可使用
  
  wget --proxy=off -r -khttp://www.txia.com/blog
  
  固然,寫一個.wgetrc文件也能夠,該文件能夠從/usr/local/etc裏面找到,裏面有很詳細的註釋,我就很少說了。
  
  下載網頁的時候比較麻煩的事情是,有的網頁被同時指向了不少遍,那麼爲了不屢次下載,咱們使用
  
  wget -nc -r -khttp://www.txia.com/blog
  
  能夠避免這件事情。爲了避免被有的鏈接指向非http://www.txia.com/blog內層目錄,咱們還應該加上
  
  wget -nc -np -r -khttp://www.txia.com/blog
  
  避免下載非該目錄裏面的文件,這也避免了到不一樣的host上面去。固然,若是你但願有這個功能,在多個host之間跳來跳去的下載,可使用
  
  wget -nc -np -H -r -khttp://www.txia.com/blog
  
  使得能夠在多個host之間span,同時-I和-X可使得咱們僅僅跟蹤某些目錄或者不跟蹤某些目錄。若是某些HTML裏面你須要的東西不是由這種東西做出來的,你就得使用--follow-tags和--ignore-tags了。
  
  嘿,我有個文件裏面都是鏈接,怎麼辦?要是否是html你只須要
  
  wget -i your.file
  
  若是是,那也不繁
  
  wget -F -i your.file
  
  
  
  wget 使用指南
  wget是一個從網絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協議,可使用HTTP代理.
  
  所謂的自動下載是指,wget能夠在用戶退出系統的以後在後臺執行。這意味這你能夠登陸系統,啓動一個wget下載任務,而後退出系統,wget將在後臺執行直到任務完成,相對於其它大部分瀏覽器在下載大量數據時須要用戶一直的參與,這省去了極大的麻煩。
  
  wget 能夠跟蹤HTML頁面上的連接依次下載來建立遠程服務器的本地版本,徹底重建原始站點的目錄結構。這又常被稱做"遞歸下載"。在遞歸下載的時候,wget 遵循Robot Exclusion標準(/robots.txt). wget能夠在下載的同時,將連接轉換成指向本地文件,以方便離線瀏覽。
  
  wget 很是穩定,它在帶寬很窄的狀況下和不穩定網絡中有很強的適應性.若是是因爲網絡的緣由下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。若是是服務 器打斷下載過程,它會再次聯到服務器上從中止的地方繼續下載。這對從那些限定了連接時間的服務器上下載大文件很是有用。
  
  wget的常見用法
  wget的使用格式
  
  Usage: wget [OPTION]... [URL]...
  
  用wget作站點鏡像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  -r 表示遞歸下載,會下載全部的連接,不過要注意的是,不要單獨使用這個參數,由於若是你要下載的網站也有別的網站的連接,wget也會把別的網站的東西下載 下來,因此要加上 -np這個參數,表示不下載別的站點的連接. -k表示將下載的網頁裏的連接修改成本地連接.-p得到全部顯示網頁所需的元素,好比圖片什麼的.
  
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab..
  
  
  在不穩定的網絡上下載一個部分下載的文件,以及在空閒時段下載
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 或者從filelist讀入要下載的文件列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &
  
  上面的代碼還能夠用來在網絡比較空閒的時段進行下載。個人用法是:在mozilla中將不方便當時下載的URL連接拷貝到內存中而後粘貼到文件filelist.txt中,在晚上要出去系統前執行上面代碼的第二條。
  
  使用代理下載
  wget -Y on -p -khttps://sourceforge.net/pr..
  
  代理能夠在環境變量或wgetrc文件中設定
  # 在環境變量中設定代理
  export PROXY=http://211.90.168.94:8080/
  # 在~/.wgetrc中設定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:..
  
  wget各類選項分類列表
  啓動
  -V, --version 顯示wget的版本後退出
  -h, --help 打印語法幫助
  -b, --background 啓動後轉入後臺執行
  -e, --execute=COMMAND 執行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc
  
  記錄和輸入文件
  -o, --output-file=FILE 把記錄寫到FILE文件中
  -a, --append-output=FILE 把記錄追加到FILE文件中
  -d, --debug 打印調試輸出
  -q, --quiet 安靜模式(沒有輸出)
  -v, --verbose 冗長模式(這是缺省設置)
  -nv, --non-verbose 關掉冗長模式,但不是安靜模式
  -i, --input-file=FILE 下載在FILE文件中出現的URLs
  -F, --force-html 把輸入文件看成HTML格式文件對待
  -B, --base=URL 將URL做爲在-F -i參數指定的文件中出現的相對連接的前綴
  --sslcertfile=FILE 可選客戶端證書
  --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
  --egd-file=FILE 指定EGD socket的文件名
  
  下載
  --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
  -t, --tries=NUMBER 設定最大嘗試連接次數(0 表示無限制).
  -O --output-document=FILE 把文檔寫到FILE文件中
  -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
  -c, --continue 接着下載沒下載完的文件
  --progress=TYPE 設定進程條標記
  -N, --timestamping 不要從新下載文件除非比本地文件新
  -S, --server-response 打印服務器的迴應
  --spider 不下載任何東西
  -T, --timeout=SECONDS 設定響應超時的秒數
  -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
  --waitretry=SECONDS 在從新連接之間等待1...SECONDS秒
  --random-wait 在下載之間等待0...2*WAIT秒
  -Y, --proxy=on/off 打開或關閉代理
  -Q, --quota=NUMBER 設置下載的容量限制
  --limit-rate=RATE 限定下載輸率
  
  目錄
  -nd --no-directories 不建立目錄
  -x, --force-directories 強制建立目錄
  -nH, --no-host-directories 不建立主機目錄
  -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
  --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄
  
  HTTP 選項
  --http-user=USER 設定HTTP用戶名爲 USER.
  --http-passwd=PASS 設定http密碼爲 PASS.
  -C, --cache=on/off 容許/不容許服務器端的數據緩存 (通常狀況下容許).
  -E, --html-extension 將全部text/html文檔以.html擴展名保存
  --ignore-length 忽略 `Content-Length"頭域
  --header=STRING 在headers中插入字符串 STRING
  --proxy-user=USER 設定代理的用戶名爲 USER
  --proxy-passwd=PASS 設定代理的密碼爲 PASS
  --referer=URL 在HTTP請求中包含 `Referer: URL"頭
  -s, --save-headers 保存HTTP頭到文件
  -U, --user-agent=AGENT 設定代理的名稱爲 AGENT而不是 Wget/VERSION.
  --no-http-keep-alive 關閉 HTTP活動連接 (永遠連接).
  --cookies=off 不使用 cookies.
  --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
  --save-cookies=FILE 在會話結束後將 cookies保存到 FILE文件中
  
  FTP 選項
  -nr, --dont-remove-listing 不移走 `.listing"文件
  -g, --glob=on/off 打開或關閉文件名的 globbing機制
  --passive-ftp 使用被動傳輸模式 (缺省值).
  --active-ftp 使用主動傳輸模式
  --retr-symlinks 在遞歸的時候,將連接指向文件(而不是目錄)
  
  遞歸下載
  -r, --recursive 遞歸下載--慎用!
  -l, --level=NUMBER 最大遞歸深度 (inf 或 0 表明無窮).
  --delete-after 在如今完畢後局部刪除文件
  -k, --convert-links 轉換非相對連接爲相對連接
  -K, --backup-converted 在轉換文件X以前,將之備份爲 X.orig
  -m, --mirror 等價於 -r -N -l inf -nr.
  -p, --page-requisites 下載顯示HTML文件的全部圖片
  
  遞歸下載中的包含和不包含(accept/reject)
  -A, --accept=LIST 分號分隔的被接受擴展名的列表
  -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
  -D, --domains=LIST 分號分隔的被接受域的列表
  --exclude-domains=LIST 分號分隔的不被接受的域的列表
  --follow-ftp 跟蹤HTML文檔中的FTP連接
  --follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表
  -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表
  -H, --span-hosts 當遞歸時轉到外部主機
  -L, --relative 僅僅跟蹤相對連接
  -I, --include-directories=LIST 容許目錄的列表
  -X, --exclude-directories=LIST 不被包含目錄的列表
  -np, --no-parent 不要追溯到父目錄
  
  問題
  在遞歸下載的時候,遇到目錄中有中文的時候,wget建立的本地目錄名會用URL編碼規則處理。如"天網防火牆"會被存爲"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",這形成閱讀上的極大不方便。

相關文章
相關標籤/搜索