Python爬蟲之ip代理池

  可能在學習爬蟲的時候，遇到很多的反爬的手段，封ip 就是其中之一。     對於封IP的網站。需要很多的代理IP，去買代理IP，對於初學者覺得沒有必要，每個賣代理IP的網站有的提供了免費IP，可是又很少，寫了個IP代理池 。學習應該就夠了  ip代理池： 1，在各大網站爬去免費代理ip 2，檢查ip可用 可用存入數據庫1和2 3，在數據庫1中拿出少量代理ip存入數據庫2（方便維護） 4，定時檢

>>阅读原文<<