Python實現代理池

問題起源: 最近在研究Python爬蟲, 爬蟲天然少不了代理, 所以本身動手整理了一個代理池, 用的Free的代理, 所以用了多線程加快了爬取速度, 在這裏大致記錄一下. 技術棧: Python、Django、Celery 大致思路： 找到免費的代理網站，而後獲取一些Free的代理地址，而後驗證有效性，保存到數據庫，暫時尚未分佈式爬蟲的需求，所以對於代理數量需求不大，所以本項目對於大數據支持並不完

>>阅读原文<<