scrapy中對隨機代理中間件的處理

import redis from scrapy.exceptions import NotConfigured class RandomProxyMiddleware(object): """ 利用scrapy自己的proxy middle機制,實現一個隨機IP代理池,而且能夠動態的刪除有問題的IP """ def __init__(self, settin
相關文章
相關標籤/搜索