Scrapy學習筆記(6)-反爬蟲與反反爬蟲策略

轉自：http://jinbitou.net/2016/12/01/2229.html   前言     到目前爲止我們已經寫了好幾個爬蟲，雖然已經可以實現數據採集，但是我們的爬蟲其實是在」裸奔」，因爲沒有加任何的僞裝，很容易就可以被遠程服務器識別出來，這也就意味着我們的爬蟲很可能在採集了十幾頁數據或者運行幾分鐘之後就出現問題，輕則出現驗證碼或暫時訪問不了目標站點，重則本機IP直接被拉入黑名單。你

>>阅读原文<<