python爬蟲之代理池的維護

代理池的維護 1.原因： 網上有大量公開的免費代理和付費代理，但無論是哪種代理，我們都不能保證是可用的，因爲可能有各種原因導致代理不可用，這肯定會影響爬蟲的效率，所以我們需要提前做篩選，將不可用的代理刪除掉，保留可用代理，所以我們需要搭建一個高效的代理池 2代理池基本模架構： 存儲模塊： 負責存儲抓取下來的代理，保證代理不重複，標識代理的可用情況，動態實時處理每個代理，採用Redis的Sorted

>>阅读原文<<