Python爬蟲代理池

爬蟲代理IP池   在公司做分佈式深網爬蟲，搭建了一套穩定的代理池服務，爲上千個爬蟲提供有效的代理，保證各個爬蟲拿到的都是對應網站有效的代理IP，從而保證爬蟲快速穩定的運行，當然在公司做的東西不能開源出來。不過呢，閒暇時間手癢，所以就想利用一些免費的資源搞一個簡單的代理池服務。 1、問題 代理IP從何而來？ 剛自學爬蟲的時候沒有代理IP就去西刺、快代理之類有免費代理的網站去爬，還是有個別代理能用。

>>阅读原文<<