用Python爬蟲抓取代理IP

不知道大家在訪問網站的時候有沒有遇到過這樣的狀況就是被訪問的網站會給出一個提示，提示的顯示是「訪問頻率太高」，如果在想進行訪問那麼必須要等一會或者是對方會給出一個驗證碼使用驗證碼對被訪問的網站進行解封。之所以會有這樣的提示是因爲我們所要爬取或者訪問的網站設置了反爬蟲機制，比如使用同一個IP頻繁的請求網頁的次數過多的時候，服務器由於反爬蟲機制的指令從而選擇拒絕服務，這種情況單單依靠解封是比較難處理的

>>阅读原文<<