爬蟲進階：Scrapy抓取boss直聘、拉勾心得經驗

關於使用Scrapy的體會，最明顯的感受就是這種模板化、工程化的腳手架體系，可以說是拿來即可開箱便用，大多僅需按一定的規則套路配置，剩下的就是專注於編寫跟爬蟲業務有關的代碼。絕大多數的反反爬蟲策略，大多有以下幾種： 忽略robots.txt協議 添加隨機請求頭，如cookie、user-agent等 sleep休眠 控制併發請求數、設置頁面下載延遲 驗證碼識別(靠譜) 使用ip代理池(最靠譜) 文

>>阅读原文<<