八爪魚爬取列表數據和詳情頁數據(國內網址)

1.一般來說想爬取詳情頁的數據都會先把列表數據(帶上詳情頁的鏈接)先爬爬出來再專門爬取詳情頁的數據。 2.爬取詳列表數據步驟: 1.打開網頁 2.循環翻頁(注意:八爪魚免費版一次只能爬取1w條數據,所以需要設置循環執行次數,避免超過1w條數據) 3.循環採集列表數據,也就是一頁有多少數據 4.提取數據(關鍵點):對xpath不熟可以下載火狐的兩個插件,可以很方便的獲取指定數據的xpath 下載火狐
相關文章
相關標籤/搜索