東方財經財富號爬蟲流程(4) -- ip 代理池組件

組件 ip 代理組件作爲一個單獨的公共模塊方便複用: ip 代理對象 將每一個 ip 代理抽象爲一個類: ProxyPool 初始化 爬取 將 爬取 ip 的實現委託給 proxy_strategy (GetProxyStrategy 類的實例)。 爬取並且定期的健康檢查 隨機選取可用 ip GetProxyStrategy 真正解析網站獲取 ip 的類。 如果我們買了自己的 ip 代理,可以替換
相關文章
相關標籤/搜索