Python3網絡爬蟲開發實戰，IP代理池的維護

我們在上一節瞭解了代理的設置方法，利用代理我們可以解決目標網站封 IP 的問題，而在網上又有大量公開的免費代理，其中有一部分可以拿來使用，或者我們也可以購買付費的代理 IP，價格也不貴。但是不論是免費的還是付費的，都不能保證它們每一個都是可用的，畢竟可能其他人也可能在用此 IP 爬取同樣的目標站點而被封禁，或者代理服務器突然出故障或網絡繁忙。一旦我們選用了一個不可用的代理，勢必會影響我們爬蟲的工作

>>阅读原文<<