爬蟲之代理池維護

一 準備工作 1 安裝aiohttp (venv) E:\WebSpider>pip3 install aiohttp 2 安裝flask (venv) E:\WebSpider>pip install flask 二 代理池的模塊 1 存儲模塊:負載存儲抓取下來的代理。存儲模塊使用Redis的有序集合,用來做代理的去重和狀態標識,同時它也是中心模塊和基礎模塊,將其他模塊串聯起來。 2 獲取模塊:
相關文章
相關標籤/搜索