利用wget批量下載http目錄下文件

原理：下載你須要down的目錄頁面的index.html，可能名字不是如此！！！
以後用wget下載該文件裏包含的全部連接！

例如：wget -vE -rLnp -nH --tries=20 --timeout=40 --wait=5 http://mirrors.163.com/gentoo/distfiles/
或者簡單點：wget -m http://mirrors.163.com/gentoo/distfiles/
你 會獲得distfiles頁面的index.html文件，該文件內容固然不用說了，裏面包含distfiles目錄下的全部源碼包的連接,要獲得這個文 件很容易，一個-m參數也能夠，但該文件比較大，爲防止超時，等待等問題，能夠加tries,timeout,wait等參數解決。

wget -nc -B http://mirrors.163.com/gentoo/distfiles/ -F -nH --cut-dirs=3 -i index.html

Ok！！！

後 來決定用tom的鏡像來同步下載，可是發現tom居然不容許瀏覽訪問他們gentoo鏡像頁面固然也就得不到distfiles的 index.html，因而嘗試用163獲得的index.html代替，畢竟裏面存放的都是相對路徑，因此只須要用tom的distfiles目錄代替 163的路徑，一樣能夠從tom下載163的index.html裏列出來的鏡像文件！

參數解釋：
-B 給指定的文件裏的URLs增長路徑前綴
-nc:下載時跳過已經存在的文件
-nH:不建立主機名目錄
-i : 下載全部在i參數後面指定的文件中列出的URLs.
-v : 顯示信息
F : 強制以html 保存
-r : 遞歸， 就是抓取子目錄的子目錄
L : 相對路徑
np : 不跳到父目錄
--cut-dirs 剪掉主機名後面的相對目錄數

   例：
                   No options          -> ftp.xemacs.org/pub/xemacs/
                   -nH                       -> pub/xemacs/
                   -nH --cut-dirs=1  -> xemacs/
                   -nH --cut-dirs=2  -> .

                   --cut-dirs=1      -> ftp.xemacs.org/xemacs/
                   ...

還不少亂七八遭的參數，好比制定目錄啊，過濾啊，等等，

wget各類選項分類列表
* 啓動
-V, --version 顯示wget的版本後退出
-h, --help 打印語法幫助
-b, --background 啓動後轉入後臺執行
-e, --execute=COMMAND 執行`.wgetrc'格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
* 記錄和輸入文件
-o, --output-file=FILE 把記錄寫到FILE文件中
-a, --append-output=FILE 把記錄追加到FILE文件中
-d, --debug 打印調試輸出
-q, --quiet 安靜模式(沒有輸出)
-v, --verbose 冗長模式(這是缺省設置)
-nv, --non-verbose 關掉冗長模式，但不是安靜模式
-i, --input-file=FILE 下載在FILE文件中出現的URLs
-F, --force-html 把輸入文件看成HTML格式文件對待
-B, --base=URL 將URL做爲在-F -i參數指定的文件中出現的相對連接的前綴
--sslcertfile=FILE 可選客戶端證書
--sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
--egd-file=FILE 指定EGD socket的文件名
* 下載
--bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
-t, --tries=NUMBER 設定最大嘗試連接次數(0 表示無限制).
-O --output-document=FILE 把文檔寫到FILE文件中
-nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
-c, --continue 接着下載沒下載完的文件
--progress=TYPE 設定進程條標記
-N, --timestamping 不要從新下載文件除非比本地文件新
-S, --server-response 打印服務器的迴應
--spider 不下載任何東西
-T, --timeout=SECONDS 設定響應超時的秒數
-w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
--waitretry=SECONDS 在從新連接之間等待1...SECONDS秒
--random-wait 在下載之間等待0...2*WAIT秒
-Y, --proxy=on/off 打開或關閉代理
-Q, --quota=NUMBER 設置下載的容量限制
--limit-rate=RATE 限定下載輸率
* 目錄
-nd --no-directories 不建立目錄,wget默認會建立一個目錄
-x, --force-directories 強制建立目錄
-nH, --no-host-directories 不建立主機目錄
-P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
--cut-dirs=NUMBER 忽略 NUMBER層遠程目錄
* HTTP 選項
--http-user=USER 設定HTTP用戶名爲 USER.
--http-passwd=PASS 設定http密碼爲 PASS.
-C, --cache=on/off 容許/不容許服務器端的數據緩存 (通常狀況下容許).
-E, --html-extension 將全部text/html文檔以.html擴展名保存
--ignore-length 忽略 `Content-Length'頭域
--header=STRING 在headers中插入字符串 STRING
--proxy-user=USER 設定代理的用戶名爲 USER
--proxy-passwd=PASS 設定代理的密碼爲 PASS
--referer=URL 在HTTP請求中包含 `Referer: URL'頭
-s, --save-headers 保存HTTP頭到文件
-U, --user-agent=AGENT 設定代理的名稱爲 AGENT而不是 Wget/VERSION.
--no-http-keep-alive 關閉 HTTP活動連接 (永遠連接).
--cookies=off 不使用 cookies.
--load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
--save-cookies=FILE 在會話結束後將 cookies保存到 FILE文件中
* FTP 選項
-nr, --dont-remove-listing 不移走 `.listing'文件
-g, --glob=on/off 打開或關閉文件名的 globbing機制
--passive-ftp 使用被動傳輸模式 (缺省值).
--active-ftp 使用主動傳輸模式
--retr-symlinks 在遞歸的時候，將連接指向文件(而不是目錄)
* 遞歸下載
-r, --recursive 遞歸下載－－慎用!
-l, --level=NUMBER 最大遞歸深度 (inf 或 0 表明無窮).
    -l1 (L one) 遞歸一層,只下載指定文件夾中的內容, 不下載下一級目錄中的.
--delete-after 在如今完畢後局部刪除文件
-k, --convert-links 轉換非相對連接爲相對連接
-K, --backup-converted 在轉換文件X以前，將之備份爲 X.orig
-m, --mirror 等價於 -r -N -l inf -nr.
-p, --page-requisites 下載顯示HTML文件的全部圖片
* 遞歸下載中的包含和不包含(accept/reject)
-A, --accept=LIST 分號分隔的被接受擴展名的列表
-R, --reject=LIST 分號分隔的不被接受的擴展名的列表
-D, --domains=LIST 分號分隔的被接受域的列表
--exclude-domains=LIST 分號分隔的不被接受的域的列表
--follow-ftp 跟蹤HTML文檔中的FTP連接
--follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表
-G, --ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表
-H, --span-hosts 當遞歸時轉到外部主機
-L, --relative 僅僅跟蹤相對連接
-I, --include-directories=LIST 容許目錄的列表
-X, --exclude-directories=LIST 不被包含目錄的列表
-np, --no-parent 不要追溯到父目錄

ftp協議發佈的文件的話就比較簡單了，能夠用 -r 參數 加通配符*來替代，徹底能夠實現遞歸下載！