【零基礎學爬蟲】使用Flask+Redis維護代理池

簡介 寫爬蟲有時會面臨封ip的問題，使用代理就可以僞裝我們的IP。那麼我們爬蟲請求的時候可能就需要非常多的IP，這裏我們維護了一個代理池：池內有非常多的IP，代理IP隊列，我們可以向池內放代理ip，也可以從代理池中請求ip。我們需要定期檢查和更新，保證代理池中的ip可用。 Redis主要用於維護池，提供池的隊列存儲，flask主要用於實現代理池接口，使用flask可以從代理池拿出一個代理，這個過程

>>阅读原文<<