scrapy-redis源碼解讀之發送POST請求

1 引言

這段時間在研究美團爬蟲，用的是scrapy-redis分佈式爬蟲框架，奈何scrapy-redis與scrapy框架不一樣，默認只發送GET請求，換句話說，不能直接發送POST請求，而美團的數據請求方式是POST，網上找了一圈，發現關於scrapy-redis發送POST的資料寥寥無幾，只能本身剛源碼了。

2 美團POST需求說明

先來講一說需求，也就是說美團POST請求形式。咱們以獲取某個地理座標下，全部店鋪類別列表請求爲例。獲取全部店鋪類別列表時，咱們須要構造一個包含位置座標經緯度等信息的表單數據，以及爲了向下一層parse方法傳遞的一些必要數據，即meta，而後發起一個POST請求。

url：

請求地址，即url是固定的，以下所示：

url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'

url最後面的13位數字是時間戳，實際應用時用time模塊生成一下就行了。

表單數據：

form_data = {
    'initialLat': '25.618626',
    'initialLng': '105.644569',
    'actualLat': '25.618626',
    'actualLng': '105.644569',
    'geoType': '2',
    'wm_latitude': '25618626',
    'wm_longitude': '105644569',
    'wm_actual_latitude': '25618626',
    'wm_actual_longitude': '105644569'
}

meta數據：

meta數據不是必須的，可是，若是你在發送請求時，有一些數據須要向下一層parse方法（解析爬蟲返回的response的方法）中傳遞的話，就能夠構造這一數據，而後做爲參數傳遞進request中。

meta = {
    'lat': form_data.get('initialLat'),
    'lng': form_data.get('initialLng'),
    'lat2': form_data.get('wm_latitude'),
    'lng2': form_data.get('wm_longitude'),
    'province': '**省',
    'city': '**市',
    'area': '**區'
}

3 源碼分析

採集店鋪類別列表時須要發送怎樣一個POST請求在上面已經說明了，那麼，在scrapy-redis框架中，這個POST該如何來發送呢？我相信，打開我這篇博文的讀者都是用過scrapy的，用scrapy發送POST確定沒問題（重寫start_requests方法便可），但scrapy-redis不一樣，scrapy-redis框架只會從配置好的redis數據庫中讀取起始url，因此，在scrapy-redis中，就算重寫start_requests方法也沒用。怎麼辦呢？咱們看看源碼。

咱們知道，scrapy-redis與scrapy的一個很大區別就是，scrapy-redis再也不繼承Spider類，而是繼承RedisSpider類的，因此，RedisSpider類源碼將是咱們分析的重點，咱們打開RedisSpider類，看看有沒有相似於scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼以下：

class RedisSpider(RedisMixin, Spider):
    @classmethod
    def from_crawler(self, crawler, *args, **kwargs):
        obj = super(RedisSpider, self).from_crawler(crawler, *args, **kwargs)
        obj.setup_redis(crawler)
        return obj        

很遺憾，在RedisSpider類中沒有找到相似start_requests、make_requests_from_url這樣的方法，並且，RedisSpider的源碼也太少了吧，不過，從第一行咱們能夠發現RedisSpider繼承了RedisMinxin這個類，因此我猜RedisSpider的不少功能是從父類繼承而來的（拼爹的RedisSpider）。繼續查看RedisMinxin類源碼。RedisMinxin類源碼太多，這裏就不將全部源碼貼出來了，不過，驚喜的是，在RedisMinxin中，真找到了相似於start_requests、make_requests_from_url這樣的方法，如：start_requests、next_requests、make_request_from_data等。有過scrapy使用經驗的童鞋應該都知道，start_requests方法能夠說是構造一切請求的起源，沒分析scrapy-redis源碼以前，誰也不知道scrapy-redis是否是和scrapy同樣（後面打斷點的方式驗證過，確實同樣，話說這個驗證有點多餘，由於源碼註釋就是這麼說的），不過，仍是從start_requests開始分析吧。start_requests源碼以下：

def start_requests(self):
    return self.next_requests()

呵，真簡潔，直接把全部任務丟給next_requests方法，繼續：

def next_requests(self):
    """Returns a request to be scheduled or none."""
    use_set = self.settings.getbool('REDIS_START_URLS_AS_SET',             defaults.START_URLS_AS_SET)
    fetch_one = self.server.spop if use_set else self.server.lpop
    # XXX: Do we need to use a timeout here?
    found = 0
    # TODO: Use redis pipeline execution.
    while found < self.redis_batch_size: # 每次讀取的量
        data = fetch_one(self.redis_key) # 從redis中讀取一條記錄
        if not data:
            # Queue empty.
            break
        req = self.make_request_from_data(data) # 根據從redis中讀取的記錄，實例化一個request
        if req:
            yield req
        found += 1
        else:
            self.logger.debug("Request not made from data: %r", data)
 
    if found:
        self.logger.debug("Read %s requests from '%s'", found, self.redis_key)    

上面next_requests方法中，關鍵的就是那個while循環，每一次循環都調用了一個make_request_from_data方法，從函數名能夠函數，這個方法就是根據從redis中讀取歷來的數據，實例化一個request，那不就是咱們要找的方法嗎？進入make_request_from_data方法一探究竟：

def make_request_from_data(self, data):
    url = bytes_to_str(data, self.redis_encoding)
    return self.make_requests_from_url(url) # 這是重點，圈起來，要考

由於scrapy-redis默認值發送GET請求，因此，在這個make_request_from_data方法中認爲data只包含一個url，但若是咱們要發送POST請求，這個data包含的東西可就多了，咱們上面美團POST請求說明中就說到，至少要包含url、form_data。因此，若是咱們要發送POST請求，這裏必須改，make_request_from_data方法最後調用的make_requests_from_url是scrapy中的Spider中的方法，不過，咱們也不須要繼續往下看下去了，我想諸位都也清楚了，要發送POST請求，重寫這個make_request_from_data方法，根據傳入的data，實例化一個request返回就行了。

 4 代碼實例

明白上面這些東西后，就能夠開始寫代碼了。修改源碼嗎？不，不存在的，改源碼可不是好習慣。咱們直接在咱們本身的Spider類中重寫make_request_from_data方法就行了：

from scrapy import FormRequest
from scrapy_redis.spiders import RedisSpider
 
 
class MeituanSpider(RedisSpider):
    """
    此處省略若干行
    """
 
    def make_request_from_data(self, data):
        """
        重寫make_request_from_data方法，data是scrapy-redis讀取redis中的[url,form_data,meta]，而後發送post請求
        :param data: redis中都去的請求數據，是一個list
        :return: 一個FormRequest對象
    　　"""
        data = json.loads(data)
        url = data.get('url')
        form_data = data.get('form_data')
        meta = data.get('meta')
        return FormRequest(url=url, formdata=form_data, meta=meta, callback=self.parse)

    def parse(self, response):
        pass
 

搞清楚原理以後，就是這麼簡單。萬事俱備，只欠東風——將url，form_data，meta存儲到redis中。另外新建一個模塊實現這一部分功能：

def push_start_url_data(request_data):
    """
    將一個完整的request_data推送到redis的start_url列表中
    :param request_data: {'url':url, 'form_data':form_data, 'meta':meta}
    :return:
    """
    r.lpush('meituan:start_urls', request_data)
 
 
if __name__ == '__main__':
    url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'
    form_data = {
        'initialLat': '25.618626',
        'initialLng': '105.644569',
        'actualLat': '25.618626',
        'actualLng': '105.644569',
        'geoType': '2',
        'wm_latitude': '25618626',
        'wm_longitude': '105644569',
        'wm_actual_latitude': '25618626',
        'wm_actual_longitude': '105644569'
    }
    meta = {
        'lat': form_data.get('initialLat'),
        'lng': form_data.get('initialLng'),
        'lat2': form_data.get('wm_latitude'),
        'lng2': form_data.get('wm_longitude'),
        'province': '**省',
        'city': '*市',
        'area': '**區'
    }
    request_data = {
        'url': url,
        'form_data': form_data,
        'meta': meta
    }
    push_start_url_data(json.dumps(request_data))

在啓動scrapy-redis以前，運行一下這一模塊便可。若是有不少POI（地理位置興趣點），循環遍歷每個POI，生成request_data，push到redis中。這一循環功能就你本身寫吧。

5 總結

沒有什麼是擼一遍源碼解決不了的，若是有，就再擼一遍！