linux中使用wget模擬爬蟲抓取網頁

如何在linux上或者是mac上簡單使用爬蟲或者是網頁下載工具呢，常規的咱們確定是要去下載一個軟件下來使用啦，可憐的這兩個系統老是找不到相應的工具，這時wget出來幫助你啦!!!wget自己是拿來下載東西的，但遠不止那麼簡單,wget是一把強大利器。

 

wget -c -r -npH -k http://www.baidu.com

　　

參數說明

-c：斷點續傳
-r：遞歸下載
-np：遞歸下載時不搜索上層目錄
-nd：遞歸下載時不建立一層一層的目錄,把全部文件下載當前文件夾中
-p：下載網頁所須要的全部文件(圖片,樣式,js文件等)
-H：當遞歸時是轉到外部主機下載圖片或連接
-k：將絕對連接轉換爲相對連接,這樣就能夠在本地脫機瀏覽網頁了
ls

而後生成了index.html文件

將index.html移動到/var/www/html/

須要提早安裝httpd服務並關閉防火牆

而後打開瀏覽器輸入目標IP