基於Tornado和Scrapy的開源高性能代理池

圖片瞎放一個先（doge 前段時間在寫爬蟲，研究了一下Github排名靠前的免費代理池，都不太喜歡，就自己寫了一個，結合了異步框架Tornado和Scrapy，目前支持的特性有： 設定數目，持續從網上爬取新的免費代理，檢測可用後存入本地數據庫 完全異步，支持高併發（從免費的前提下去衡量……） 通過調用HTTP API來獲取代理，後面有時間會增加前端控制頁面 週期性自檢，更新可用代理 項目地址在這裏

>>阅读原文<<