爬蟲入門之Scrapy框架基礎rule與LinkExtractors(十一)

時間  2020-05-09
標籤 爬蟲 入門 scrapy 框架 基礎 rule linkextractors 十一 欄目 網絡爬蟲 简体版
原文   原文鏈接

1 parse()方法的工做機制：

1. 由於使用的yield，而不是return。parse函數將會被當作一個生成器使用。scrapy會逐一獲取parse方法中生成的結果，並判斷該結果是一個什麼樣的類型；
2. 若是是request則加入爬取隊列，若是是item類型則使用pipeline處理，其餘類型則返回錯誤信息。
3. scrapy取到第一部分的request不會立馬就去發送這個request，只是把這個request放到隊列裏，而後接着從生成器裏獲取；
4. 取盡第一部分的request，而後再獲取第二部分的item，取到item了，就會放到對應的pipeline裏處理；
5. parse()方法做爲回調函數(callback)賦值給了Request，指定parse()方法來處理這些請求 			          scrapy.Request(url, callback=self.parse)
6. Request對象通過調度，執行生成 scrapy.http.response()的響應對象，並送回給parse()方法，直到調度器中沒有Request（遞歸的思路）
7. 取盡以後，parse()工做結束，引擎再根據隊列和pipelines中的內容去執行相應的操做；
8. 程序在取得各個頁面的items前，會先處理完以前全部的request隊列裏的請求，而後再提取items。
7. 這一切的一切，Scrapy引擎和調度器將負責到底。

2 CrawlSpiders:定義了一些規則跟進link

經過下面的命令能夠快速建立 CrawlSpider模板 的代碼：php

scrapy genspider -t crawl tencent tencent.comhtml

上一個案例中，咱們經過正則表達式，製做了新的url做爲Request請求參數，如今咱們能夠換個花樣...python

class scrapy.spiders.CrawlSpider正則表達式

它是Spider的派生類，Spider類的設計原則是隻爬取start_url列表中的網頁，而CrawlSpider類定義了一些規則(rule)來提供跟進link的方便的機制，從爬取的網頁中獲取link並繼續爬取的工做更適合。shell

源碼參考

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

    #首先調用parse()來處理start_urls中返回的response對象
    #parse()則將這些response對象傳遞給了_parse_response()函數處理，並設置回調函數爲parse_start_url()
    #設置了跟進標誌位follow = True
    #parse將返回item和跟進了的Request對象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

    #處理start_url中返回的response，須要重寫
    def parse_start_url(self, response):
        return []

    def process_results(self, response, results):
        return results

    #從response中抽取符合任一用戶定義'規則'的連接，並構形成Resquest對象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取以內的全部連接，只要經過任意一個'規則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每一個鏈接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將連接加入seen集合，爲每一個連接生成Request對象，並設置回調函數爲_repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構造Request對象，並將Rule規則中定義的回調函數做爲這個Request對象的回調函數
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
 			   #對每一個Request調用process_request()函數。
			   #該函數默認爲indentify，即不作任何處理，直接返回該Request.
                yield rule.process_request(r)


    #處理經過rule提取出的鏈接，並返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)


    #解析response對象，會用callback解析處理他，並返回request或Item對象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設置了回調函數 (該回調函數多是rule中的解析函數，也多是 parse_start_url函數）
        #若是設置了回調函數（parse_start_url()），那麼首先用parse_start_url()處理response對象，
        #而後再交給process_results處理。返回cb_res的一個列表
        if callback:
            #若是是parse調用的，則會解析成Request對象
            #若是是rule callback，則會解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item

        #若是須要跟進，那麼使用定義的Rule規則提取並返回這些Request對象
        if follow and self._follow_links:
            #返回每一個Request對象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item

    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)


        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)


    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承於Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:網絡

3 LinkExtractors

class scrapy.linkextractors.LinkExtractor

Link Extractors 的目的很簡單: 提取連接｡dom

每一個LinkExtractor有惟一的公共方法是 extract_links()，它接收一個 Response 對象，並返回一個 scrapy.link.Link 對象。scrapy

Link Extractors要實例化一次，而且 extract_links 方法會根據不一樣的 response 調用屢次提取連接｡ide

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數：函數

  • allow：知足括號中「正則表達式」的值會被提取，若是爲空，則所有匹配。
  • deny：與這個正則表達式(或正則表達式列表)匹配的URL必定不提取。
  • allow_domains：會被提取的連接的domains。
  • deny_domains：必定不會被提取連接的domains。
  • restrict_xpaths：使用xpath表達式，和allow共同做用過濾連接。

4 rules:適合全站爬取

在rules中包含一個或多個Rule對象，每一個Rule對爬取網站的動做定義了特定操做。若是多個rule匹配了相同的連接，則根據規則在本集合中被定義的順序，第一個會被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

  • link_extractor：是一個Link Extractor對象，用於定義須要提取的連接。

  • callback： 從link_extractor中每獲取到連接時，參數所指定的值做爲回調函數，該回調函數接受一個response做爲其第一個參數。

    注意：當編寫爬蟲規則時，避免使用parse做爲回調函數。因爲CrawlSpider使用parse方法來實現其邏輯，若是覆蓋了 parse方法，crawl spider將會運行失敗。

  • follow：是一個布爾(boolean)值，指定了根據該規則從response提取的連接是否須要跟進。 若是callback爲None，follow 默認設置爲True ，不然默認爲False。

  • process_links：指定該spider中哪一個的函數將會被調用，從link_extractor中獲取到連接列表時將會調用該函數。該方法主要用來過濾。

  • process_request：指定該spider中哪一個的函數將會被調用， 該規則提取到每一個request時都會調用該函數。 (用來過濾request)

5 爬取規則(Crawling rules)

繼續用騰訊招聘爲例，給出配合rule使用CrawlSpider的例子:

  1. 首先運行

    scrapy shell "http://hr.tencent.com/position.php?&start=0#a"

  2. 導入LinkExtractor，建立LinkExtractor實例對象。：

    from scrapy.linkextractors import LinkExtractor

    page_lx = LinkExtractor(allow=('position.php?&start=\d+'))

> allow : LinkExtractor對象最重要的參數之一，這是一個正則表達式或正則表達式列表，必需要匹配這個正則表達式(或正則表達式列表)的URL纔會被提取，若是沒有給出(或爲空), 它會匹配全部的連接｡
   
   > deny : 用法同allow，只不過與這個正則表達式匹配的URL不會被提取)｡它的優先級高於 allow 的參數，若是沒有給出(或None), 將不排除任何連接｡

3. 調用LinkExtractor實例的extract_links()方法查詢匹配結果：
    page_lx.extract_links(response)

  1. 沒有查到：

    []

  2. 注意轉義字符的問題，繼續從新匹配：

    page_lx = LinkExtractor(allow=('position\.php\?&start=\d+'))
 # page_lx = LinkExtractor(allow = ('start=\d+'))
 page_lx.extract_links(response)
## CrawlSpider 版本

那麼，scrapy shell測試完成以後，修改如下代碼

​```python
#提取匹配 'http://hr.tencent.com/position.php?&start=\d+'的連接
page_lx = LinkExtractor(allow = ('start=\d+'))

rules = [
    #提取匹配,並使用spider的parse方法進行分析;並跟進連接(沒有callback意味着follow默認爲True)
    Rule(page_lx, callback = 'parse', follow = True)
]

這麼寫對嗎？

不對！千萬記住 callback 千萬不能寫 parse，再次強調：因爲CrawlSpider使用parse方法來實現其邏輯，所以回調函數必須保證不能與CrawlSpider中parse方法重名 , 若是覆蓋了 parse方法，crawl spider將會運行失敗。

# -*- coding: utf-8 -*-
import re
import scrapy

from  scrapy.spiders import CrawlSpider, Rule  # 提取超連接的規則
from  scrapy.linkextractors import LinkExtractor  # 提取超連接
from Tencent import items

class MytencentSpider(CrawlSpider):
    name = 'myTencent'
    allowed_domains = ['hr.tencent.com']
    start_urls = ['https://hr.tencent.com/position.php?lid=2218&start=0#a']
    page_lx = LinkExtractor(allow=("start=\d+"))
    rules = [
        Rule(page_lx, callback="parseContent", follow=True)
    ]

    # parse(self, response)
    def parseContent(self, response):
        for data in response.xpath("//tr[@class=\"even\"] | //tr[@class=\"odd\"]"):
            item = items.TencentItem()
            item["jobTitle"] = data.xpath("./td[1]/a/text()")[0].extract()
            item["jobLink"] = "https://hr.tencent.com/" + data.xpath("./td[1]/a/@href")[0].extract()
            item["jobCategories"] = data.xpath("./td[1]/a/text()")[0].extract()
            item["number"] = data.xpath("./td[2]/text()")[0].extract()
            item["location"] = data.xpath("./td[3]/text()")[0].extract()
            item["releasetime"] = data.xpath("./td[4]/text()")[0].extract()

            yield item

            # for i in range(1, 200):
            #     newurl = "https://hr.tencent.com/position.php?lid=2218&start=%d#a" % (i*10)
            #     yield scrapy.Request(newurl, callback=self.parse)

運行：scrapy crawl tencent

6 robots協議

Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站經過Robots協議告訴搜索引擎哪些頁面能夠抓取，哪些頁面不能抓取。robots.txt文件是一個文本文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，若是存在，搜索機器人就會按照該文件中的內容來肯定訪問的範圍；若是該文件不存在，全部的搜索蜘蛛將可以訪問網站上全部沒有被口令保護的頁面。

User-agent: * 這裏的*表明的全部的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這裏定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這裏定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這裏定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的全部以".htm"爲後綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中全部包含問號 (?) 的網址
Disallow: /.jpg$ 禁止抓取網頁全部的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/　這裏定義是容許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這裏定義是容許爬尋tmp的整個目錄
Allow: .htm$ 僅容許訪問以".htm"爲後綴的URL。
Allow: .gif$ 容許抓取網頁和gif格式圖片
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
實例分析：淘寶網的 robots.txt文件

禁止robots協議將 ROBOTSTXT_OBEY = True改成False

7 Logging

Scrapy提供了log功能，能夠經過 logging 模塊使用。

能夠修改配置文件settings.py，任意位置添加下面兩行，效果會清爽不少。

LOG_ENABLED = True  # 開啓
LOG_FILE = "TencentSpider.log" #日誌文件名
LOG_LEVEL = "INFO" #日誌級別

Log levels

  • Scrapy提供5層logging級別:
  • CRITICAL - 嚴重錯誤(critical)
  • ERROR - 通常錯誤(regular errors)
  • WARNING - 警告信息(warning messages)
  • INFO - 通常信息(informational messages)
  • DEBUG - 調試信息(debugging messages)

logging設置

經過在setting.py中進行如下設置能夠被用來配置logging:

  1. LOG_ENABLED

    默認: True，啓用logging

  2. LOG_ENCODING

    默認: 'utf-8'，logging使用的編碼

  3. LOG_FILE

    默認: None，在當前目錄裏建立logging輸出文件的文件名

  4. LOG_LEVEL

    默認: 'DEBUG'，log的最低級別

  5. LOG_STDOUT

    默認: False 若是爲 True，進程全部的標準輸出(及錯誤)將會被重定向到log中。例如，執行 print "hello" ，其將會在Scrapy log中顯示。

  6. 日誌模塊已經被scrapy棄用，改用python自帶日誌模塊

import logging

LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s"  # 設置輸出格式
DATE_FORMAT = "%Y/%m/%d %H:%M:%S"  # 設置時間格式
logging.basicConfig(filename='tianya.log', filemode='a+', format=LOG_FORMAT, datefmt=DATE_FORMAT)

logging.warning('錯誤')

setting.py 設置抓取間隔

DOWNLOAD_DELAY = 0.25   #設置下載間隔爲250ms
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程