python爬蟲-自建IP代理池

寫在前面 最近跟靜覓大神學習了維護代理池 就藉此機會整理一下html 總體思路 代理池主要分爲4個模塊：存儲模塊、獲取模塊、檢測模塊、接口模塊python 存儲模塊：使用Redis有序集合，用來作代理的去重和狀態標識 獲取模塊：定時從代理網站獲取代理，將獲取的代理傳遞給存儲模塊，並保存到數據庫 檢測模塊：定時經過存儲模塊獲取全部代理，並對代理進行檢測，根據不一樣的檢測結果對代理設置不一樣的標識 接

>>阅读原文<<