利用scrapy建立代理池

一開始爬取xicidaili，頻率太快ip被禁了。。。，只能回家爬取。明天把爬取的ip存到redis裏做持久化，並且爬取後自動測試代理評級。 proxypool.py # -*- coding: utf-8 -*- import scrapy from scrapy import Request,Spider from pyquery import PyQuery from ..items imp

>>阅读原文<<