N0.32——應用Redis搭建爬蟲的代理池

        在做爬蟲時，如果遇到反爬措施比較嚴格的網站，會遇到IP被封禁的問題，使用代理可以有效解決這個問題。這樣，我們可以花錢在網上購買一些優質代理，同樣，還可以在網上爬取一些免費的代理。不管是付費的還是免費的，同一個代理可能有多個人同時使用，所以不能保證每個代理都是有效的，基於此目的，我們可以維護一個維護一個代理池，提前把可用代理篩選出來，同時把不可用代理剔除掉，將可用代理保留下來。  

>>阅读原文<<