爬蟲那些事－爬蟲設計思路

1、前言css 爬蟲普遍使用於搜索引擎、新聞聚合以及大數據採集當中，一個良好的爬蟲系統須要考慮不少方面：爬蟲種子的獲取須要有個穩定的任務調度機制，下載頁面過程須要考慮到網頁內容的生成是不是須要js渲染，請求網頁是否須要設置請求頭，還有請求過多會不會被對方封鎖。另外就是數據處理過程，什麼頁面須要進行數據提取，什麼頁面是分裂成其它頁面，還有頁面內容提取須要採用什麼手段：好比css selector解析

>>阅读原文<<