Scrapy學習篇（十二）之設置隨機IP代理（IPProxy）

當咱們須要大量的爬取網站信息時，除了切換User-Agent以外，另一個重要的方式就是設置IP代理，以防止咱們的爬蟲被拒絕，下面咱們就來演示scrapy如何設置隨機IPProxy。

設置隨機IPProxy

一樣的你想要設置IPProxy ，首先須要找到可用的IPProxy ，一般狀況下，一些代理網站會提供一些免費的ip代理，可是其穩定性和可用性很可貴到保證，可是初學階段，只能硬着頭皮去找了，固然後期咱們能夠有其餘的方法來尋找可用的IP代理，拿到可用的IPProxy 之後，將其添加到settings.py文件中，像下面這樣，固然了，當你看到這篇文章的時候，他們確定是已經失效了，你須要本身去找了。

PROXIES = ['http://183.207.95.27:80', 'http://111.6.100.99:80', 'http://122.72.99.103:80', 
           'http://106.46.132.2:80', 'http://112.16.4.99:81', 'http://123.58.166.113:9000', 
           'http://118.178.124.33:3128', 'http://116.62.11.138:3128', 'http://121.42.176.133:3128', 
           'http://111.13.2.131:80', 'http://111.13.7.117:80', 'http://121.248.112.20:3128', 
           'http://112.5.56.108:3128', 'http://42.51.26.79:3128', 'http://183.232.65.201:3128', 
           'http://118.190.14.150:3128', 'http://123.57.221.41:3128', 'http://183.232.65.203:3128', 
           'http://166.111.77.32:3128', 'http://42.202.130.246:3128', 'http://122.228.25.97:8101', 
           'http://61.136.163.245:3128', 'http://121.40.23.227:3128', 'http://123.96.6.216:808', 
           'http://59.61.72.202:8080', 'http://114.141.166.242:80', 'http://61.136.163.246:3128', 
           'http://60.31.239.166:3128', 'http://114.55.31.115:3128', 'http://202.85.213.220:3128']

然後，在middlewares.py文件中，添加下面的代碼。

import scrapy
from scrapy import signals
import random



class ProxyMiddleware(object):
    '''
    設置Proxy
    '''

    def __init__(self, ip):
        self.ip = ip

    @classmethod
    def from_crawler(cls, crawler):
        return cls(ip=crawler.settings.get('PROXIES'))

    def process_request(self, request, spider):
        ip = random.choice(self.ip)
        request.meta['proxy'] = ip

其基本的邏輯和上一篇設置User-Agent很是相似，所以這個地方很少贅述。
最後將咱們自定義的類添加到下載器中間件設置中，以下。

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 543,
}

測試咱們的代理

爲了檢測咱們的代理是否設置成功，下面就以一個例子來進行測試。

咱們在spider.py文件中寫入下面的代碼

import scrapy


class Spider(scrapy.Spider):
    name = 'ip'
    allowed_domains = []

    def start_requests(self):

        url = 'http://ip.chinaz.com/getip.aspx'

        for i in range(4):
            yield scrapy.Request(url=url, callback=self.parse, dont_filter=True)

    def parse(self,response):
        print(response.text)

上面的代碼中，url = 'http://ip.chinaz.com/getip.aspx'這個網站能夠顯示咱們的ip地址，咱們用它來測試，請注意，在Request（）中，咱們必須添加dont_filter=True由於咱們屢次請求的是同一個網址，scrapy默認會把重複的網址過濾掉。運行這個項目，咱們能夠看到以下的輸出。