python爬蟲之代理池的維護

代理池的維護 1.緣由： 網上有大量公開的免費代理和付費代理，但不管是哪一種代理，咱們都不能保證是可用的，由於可能有各類緣由致使代理不可用，這確定會影響爬蟲的效率，因此咱們須要提早作篩選，將不可用的代理刪除掉，保留可用代理，因此咱們須要搭建一個高效的代理池html 2代理池基本模架構： 存儲模塊： 負責存儲抓取下來的代理，保證代理不重複，標識代理的可用狀況，動態實時處理每一個代理，採用Redis的

>>阅读原文<<