爬蟲設計思路

一、前言 爬蟲廣泛使用於搜索引擎、新聞聚合以及大數據採集當中，一個良好的爬蟲系統需要考慮很多方面：爬蟲種子的獲取需要有個穩定的任務調度機制，下載頁面過程需要考慮到網頁內容的生成是否是需要js渲染，請求網頁是否需要設置請求頭，還有請求過多會不會被對方封鎖。另外就是數據處理過程，什麼頁面需要進行數據提取，什麼頁面是分裂成其它頁面，還有頁面內容提取需要採用什麼手段：比如css selector解析，xp

>>阅读原文<<