關於網站是否會封代理IP的驗證

最近在學習爬蟲，總是會遇到各種各樣問題，感受到網站深深的惡意。最近又遇到一個瓶頸。由於使用自己的IP爬取數據IP會被封，所以採用代理IP來爬數據。理論上可行的方法實際操作起來卻並不是總能成功爬到數據。由於使用的是免費代理IP，這種IP可以很容易在代理IP網站找到，所以一些網站可能也會對這些免費代理採取一系列的反爬措施。所以驗證一下這些免費代理IP能不能進入你要爬取的網頁。 在西刺隨便找了一個高匿代

>>阅读原文<<