數據下載工做筆記一：wget批量下載網頁連接

對於網頁上的連接，」–accept」和」–reject」參數是不會起做用的,由於他們只對文件操做起做用，只能用在目錄中（例如ftp）。因此必定要用」lynx -dump」參數來代替。
$ lynx -dump ftp://ftp.xxx.com/pub/lg/ |grep gz$ |awk {print $2} > urllist
lynx的輸出結果能夠被各類GNU文本處理工具過慮。以」gz」結尾的地址放入urllist文件裏。

寫一個簡單的bash腳原本自動下載這個文件裏的目標文件:
$ for x in $(cat urllist)
> do
> wget $x
> done

或者 wget -i urllist