爬蟲怎麼解決封IP？

轉載於 https://www.zhihu.com/question/26018679 這個網站提供上千個 http://www.v*n.cn/ ip交換 在網絡爬蟲抓取信息的過程中，如果抓取頻率高過了網站的設置閥值，將會被禁止訪問。通常，網站的反爬蟲機制都是依據IP來標識爬蟲的。 於是在爬蟲的開發者通常需要採取兩種手段來解決這個問題： 1、放慢抓取速度，減小對於目標網站造成的壓力。但是這樣會減少

>>阅读原文<<