wget下載整個網站或目錄

扎克伯克電影中的場景啊= =有意思。
html


原貼:http://jnote.cn/blog/shell/wget-download.html
shell

wget下載整個網站或目錄

用wget下載東西,的確很方便,它會自動重連並斷點續傳。讓人很放心。
常常要下載一個網站或網站的某個目錄。dom

將wget命令放到這裏備用:
下載一個目錄,例如網站的yourdir
wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;GTB5)" -r -p -k -np -Pmydir -nc -o down.loghttp://www.yourdomain.com/yourdir/index.html
若是要想下載整個網站,最好去除-np參數。
wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc -o down.log http://www.yourdomain.com/index.html
-U 修改agent,假裝成IE貨firefox等
-r遞歸;對於HTTP主機,wget首先下載URL指定的文件,而後(若是該文件是一個HTML文檔的話)遞歸下載該文件所引用(超級鏈接)的全部文件(遞歸深度由參數-l指定)。對FTP主機,該參數意味着要下載URL指定的目錄中的全部文件,遞歸方法與HTTP主機相似。
-c 指定斷點續傳功能。實際上,wget默認具備斷點續傳功能,只有當你使用別的ftp工具下載了某一文件的一部分,並但願wget接着完成此工做的時候,才須要指定此參數。
-nc 不下載已經存在的文件
-np 表示不跟隨連接,只下載指定目錄及子目錄裏的東西;
-p 下載頁面顯示所需的全部文件。好比頁面中包含了圖片,可是圖片並不在/yourdir目錄中,而在/images目錄下,有此參數,圖片依然會被正常下載。
-k 修復下載文件中的絕對鏈接爲相對鏈接,這樣方便本地閱讀。工具

相關文章
相關標籤/搜索