pyhton2爬蟲 爬IP IP代理池 urllib2設置 scrapy設置

目錄 前言 獲取IP 其他代理網站 IP驗證  urllib2配置IP Scrapy配置IP 常規方法： 我的寫法： 前言 使用代理IP，這是爬蟲/反爬蟲的利器，通常也是最好用的。 很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計，系統日誌等)，如果訪問次數多的不像正常人，它會禁止這個IP的訪問。 所以我們可以設置一些代理服務器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續

>>阅读原文<<