使用wget以遞歸方式獲取包含任意文件的目錄

我有一個web目錄,我存儲一些配置文件。 我想使用wget來拉下這些文件並保持它們當前的結構。 例如,遠程目錄以下所示: html

http://mysite.com/configs/.vim/

.vim擁有多個文件和目錄。 我想使用wget在客戶端上覆制它。 彷佛找不到正確的wget標誌組合來完成這項工做。 有任何想法嗎? node


#1樓

對於其餘有相似問題的人。 Wget遵循robots.txt ,這可能不容許你抓住網站。 不用擔憂,你能夠把它關掉: web

wget -e robots=off http://www.example.com/

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html vim


#2樓

這是完整的wget命令,它能夠幫我從服務器的目錄下載文件(忽略robots.txt ): 服務器

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/

#3樓

若是--no-parent沒有幫助,您能夠使用--include選項。 ide

目錄結構: 網站

http://<host>/downloads/good
http://<host>/downloads/bad

你想下載downloads/good但不downloads/bad目錄: spa

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

#4樓

你應該使用-m(鏡像)標誌,由於它注意不要弄亂時間戳並沒有限地遞歸。 code

wget -m http://example.com/configs/.vim/

若是你在這個帖子中添加其餘人提到的點數,它將是: htm

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

#5樓

要使用用戶名和密碼遞歸獲取目錄,請使用如下命令:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/
相關文章
相關標籤/搜索