爬蟲---Python爬蟲IP代理池的建立和使用

同一個IP針對一個網站短時間內大量的訪問通常會導致IP被封，除了在爬取數據時增加延遲(爬取量不大或者對爬取速度沒要求)，還有一個好方法就是使用代理IP，這樣就可以完美解決IP被封的問題。 那麼，問題來了，代理的IP從哪兒來呢，土豪自然隨意，直接淘寶買一些代理IP就好，穩定也不是特別貴。但對於技術愛好者，也許並沒有那個需求，其實網上還是有很多免費的代理IP的，隨意打開百度一搜就是，選擇第一個不是廣告

>>阅读原文<<