Scrapy 1.5.0之Spider

爬蟲原理

建立一個以百度爲名的爬蟲，其中spiders/baidu.py內容以下：

# -*- coding: utf-8 -*-
import scrapy


class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['www.baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        pass

對spider來講，爬取的過程以下:

1. 以初始的URL初始化Request，並設置回調函數。 當該request下載完畢並返回時，將生成response，並做爲參數傳給該回調函數。

   如代碼所示，spider中初始的request是經過調用 start_requests() 來獲取的。 start_requests() 讀取 start_urls 中的URL， 並以 parse 爲回調函數生成 Request 。

2. 在回調函數內分析返回的(網頁)內容，返回 Item 對象、dict、 Request 或者一個包括三者的可迭代容器。 返回的Request對象以後會通過Scrapy處理，下載相應的內容，並調用設置的callback函數(函數可相同)。

3. 在回調函數內，您可使用 選擇器(Selectors) (您也可使用BeautifulSoup, lxml 或者您想用的任何解析器) 來分析網頁內容，並根據分析的數據生成item。

4. 最後，由spider返回的item將被存到數據庫(由某些 Item Pipeline 處理)或使用 Feed exports 存入到文件中。

scrapy.Spider

class scrapy.spiders.Spider

Spider類是最簡單的spider。每一個其餘的spider必須繼承自該類(包括Scrapy自帶的其餘spider以及您本身編寫的spider)。 其僅僅提供了 start_requests() 的默認實現，讀取並請求spider屬性中的 start_urls, 並根據返回的結果(resulting responses)調用spider的 parse 方法。

name

定義spider名字的字符串。其必須是惟一的，但能夠生成多個相同的spider實例。name是spider最重要的屬性，並且是必須的。

例如，若是spider爬取 mywebsite.com ，該spider一般會被命名爲 mywebsite 。

allowed_domains

可選。

包含了spider容許爬取的域名列表。 當 OffsiteMiddleware 啓用時， 域名不在列表中的URL不會被跟進。

start_urls

URL列表。當沒有制定特定的URL時，spider將從該列表中開始進行爬取。

custom_settings

該設置是一個dict。當啓動spider時，該設置將會覆蓋項目級的設置，因爲設置必須在初始化前被更新，因此該屬性必須定義爲類的屬性。

class MySpider(scrapy.Spider):
    name = 'myspider'

    custom_settings = {
        'SOME_SETTING': 'some value',
    }

crawler

該屬性在初始化類後，由類方法 from_crawler() 設置，而且連接了本spider實例對應的 Crawler 對象。

Crawler包含了不少項目中的組件，做爲單一的入口點 (例如插件，中間件，信號管理器等)。

@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
    spider = super(CrawlSpider, cls).from_crawler(crawler, *args, **kwargs)
    spider._follow_links = crawler.settings.getbool(
        'CRAWLSPIDER_FOLLOW_LINKS', True)
    return spider

settings

這個值也是來自於方法from_crawler()。是一個Settings 實例，

logger

配置日誌。

from_crawler(crawler, *args, **kwargs)

這是一個類方法，scrapy建立spider的時候會調用。調用位置在crawler.py 的類Crawler中。這個方法在實例化這個spider之後，這個實例纔有的settings和crawler屬性，因此在__init__方法中是無法訪問這倆屬性的。若是非要在__init__方法中使用相關屬性，那麼只能重寫該方法，你們能夠嘗試寫寫。

參數:

• crawler (Crawler 實例) – 綁定爬蟲
• args (列表) – 參數傳遞到__init__()方法
• kwargs (字典) –關鍵字參數傳遞到__init__()方法

start_requests()

該方法必須返回一個可迭代對象(iterable)。該對象包含了spider用於爬取的第一個Request。

當spider啓動爬取而且未制定URL時，該方法被調用。 當指定了URL時，make_requests_from_url() 將被調用來建立Request對象。 該方法僅僅會被Scrapy調用一次，所以您能夠將其實現爲生成器。

該方法的默認實現是使用 start_urls 的url生成Request。

若是您想要修改最初爬取某個網站的Request對象，您能夠重寫(override)該方法。 例如，若是您須要在啓動時以POST登陸某個網站，你能夠這麼寫:

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        return [scrapy.FormRequest("http://www.example.com/login",
                                   formdata={'user': 'john', 'pass': 'secret'},
                                   callback=self.logged_in)]

    def logged_in(self, response):
        # here you would extract links to follow and return Requests for
        # each of them, with another callback
        pass

make_requests_from_url(url)

該方法接受一個URL並返回用於爬取的 Request 對象。 該方法在初始化Request時被 start_requests() 調用，也被用於轉化url爲request。

由於這裏的Request初始化沒有回調方法，就是默認採用parse方法做爲回調。另外這裏的dont_filter值爲True，這個值的做用是該url不會被過濾。

parse(response)

當response沒有指定回調函數時，該方法是Scrapy處理下載的response的默認方法。

parse 負責處理response並返回處理的數據以及跟進的URL。 Spider 對其餘的Request的回調函數也有相同的要求。

該方法及其餘的Request回調函數必須返回一個包含 Request、dict 或 Item 的可迭代的對象。

log(message[, level, component])

使用 scrapy.log.msg() 方法記錄(log)message。 log中自動帶上該spider的 name屬性。 封裝了經過Spiders的 logger 來發送log消息的方法，而且保持了向後兼容性。

closed(reason)

當spider關閉時，該函數被調用。 該方法提供了一個替代調用signals.connect()來監聽 spider_closed 信號的快捷方式。

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        self.logger.info('A response from %s just arrived!', response.url)

在單個回調函數中返回多個Request以及Item的例子:

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        sel = scrapy.Selector(response)
        for h3 in response.xpath('//h3').extract():
            yield {"title": h3}

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

除了 start_urls ，你也能夠直接使用 start_requests() ; 您也可使用 Items 來給予數據更多的結構性(give data more structure):

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']

    def start_requests(self):
        yield scrapy.Request('http://www.example.com/1.html', self.parse)
        yield scrapy.Request('http://www.example.com/2.html', self.parse)
        yield scrapy.Request('http://www.example.com/3.html', self.parse)

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)