Scrapy框架----- CrawlSpiders

CrawlSpiders

經過下面的命令能夠快速建立 CrawlSpider模板 的代碼：

scrapy genspider -t crawl tencent tencent.com

上一個案例中，咱們經過正則表達式，製做了新的url做爲Request請求參數，如今咱們能夠換個花樣...

class scrapy.spiders.CrawlSpider

它是Spider的派生類，Spider類的設計原則是隻爬取start_url列表中的網頁，而CrawlSpider類定義了一些規則(rule)來提供跟進link的方便的機制，從爬取的網頁中獲取link並繼續爬取的工做更適合。

源碼參考

class CrawlSpider(Spider): rules = () def __init__(self, *a, **kw): super(CrawlSpider, self).__init__(*a, **kw) self._compile_rules() #首先調用parse()來處理start_urls中返回的response對象 #parse()則將這些response對象傳遞給了_parse_response()函數處理，並設置回調函數爲parse_start_url() #設置了跟進標誌位True #parse將返回item和跟進了的Request對象 def parse(self, response): return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True) #處理start_url中返回的response，須要重寫 def parse_start_url(self, response): return [] def process_results(self, response, results): return results #從response中抽取符合任一用戶定義'規則'的連接，並構形成Resquest對象返回 def _requests_to_follow(self, response): if not isinstance(response, HtmlResponse): return seen = set() #抽取以內的全部連接，只要經過任意一個'規則'，即表示合法 for n, rule in enumerate(self._rules): links = [l for l in rule.link_extractor.extract_links(response) if l not in seen] #使用用戶指定的process_links處理每一個鏈接 if links and rule.process_links: links = rule.process_links(links) #將連接加入seen集合，爲每一個連接生成Request對象，並設置回調函數爲_repsonse_downloaded() for link in links: seen.add(link) #構造Request對象，並將Rule規則中定義的回調函數做爲這個Request對象的回調函數 r = Request(url=link.url, callback=self._response_downloaded) r.meta.update(rule=n, link_text=link.text) #對每一個Request調用process_request()函數。該函數默認爲indentify，即不作任何處理，直接返回該Request. yield rule.process_request(r) #處理經過rule提取出的鏈接，並返回item以及request def _response_downloaded(self, response): rule = self._rules[response.meta['rule']] return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow) #解析response對象，會用callback解析處理他，並返回request或Item對象 def _parse_response(self, response, callback, cb_kwargs, follow=True): #首先判斷是否設置了回調函數。（該回調函數多是rule中的解析函數，也多是 parse_start_url函數） #若是設置了回調函數（parse_start_url()），那麼首先用parse_start_url()處理response對象， #而後再交給process_results處理。返回cb_res的一個列表 if callback: #若是是parse調用的，則會解析成Request對象 #若是是rule callback，則會解析成Item cb_res = callback(response, **cb_kwargs) or () cb_res = self.process_results(response, cb_res) for requests_or_item in iterate_spider_output(cb_res): yield requests_or_item #若是須要跟進，那麼使用定義的Rule規則提取並返回這些Request對象 if follow and self._follow_links: #返回每一個Request對象 for request_or_item in self._requests_to_follow(response): yield request_or_item def _compile_rules(self): def get_method(method): if callable(method): return method elif isinstance(method, basestring): return getattr(self, method, None) self._rules = [copy.copy(r) for r in self.rules] for rule in self._rules: rule.callback = get_method(rule.callback) rule.process_links = get_method(rule.process_links) rule.process_request = get_method(rule.process_request) def set_crawler(self, crawler): super(CrawlSpider, self).set_crawler(crawler) self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True) 

CrawlSpider繼承於Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

class scrapy.linkextractors.LinkExtractor

Link Extractors 的目的很簡單: 提取連接｡

每一個LinkExtractor有惟一的公共方法是 extract_links()，它接收一個 Response 對象，並返回一個 scrapy.link.Link 對象。

Link Extractors要實例化一次，而且 extract_links 方法會根據不一樣的 response 調用屢次提取連接｡

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數：

• allow：知足括號中「正則表達式」的值會被提取，若是爲空，則所有匹配。

• deny：與這個正則表達式(或正則表達式列表)不匹配的URL必定不提取。

• allow_domains：會被提取的連接的domains。

• deny_domains：必定不會被提取連接的domains。

• restrict_xpaths：使用xpath表達式，和allow共同做用過濾連接。

rules

在rules中包含一個或多個Rule對象，每一個Rule對爬取網站的動做定義了特定操做。若是多個rule匹配了相同的連接，則根據規則在本集合中被定義的順序，第一個會被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

• link_extractor：是一個Link Extractor對象，用於定義須要提取的連接。

• callback： 從link_extractor中每獲取到連接時，參數所指定的值做爲回調函數，該回調函數接受一個response做爲其第一個參數。

  注意：當編寫爬蟲規則時，避免使用parse做爲回調函數。因爲CrawlSpider使用parse方法來實現其邏輯，若是覆蓋了 parse方法，crawl spider將會運行失敗。

• follow：是一個布爾(boolean)值，指定了根據該規則從response提取的連接是否須要跟進。 若是callback爲None，follow 默認設置爲True ，不然默認爲False。

• process_links：指定該spider中哪一個的函數將會被調用，從link_extractor中獲取到連接列表時將會調用該函數。該方法主要用來過濾。

• process_request：指定該spider中哪一個的函數將會被調用， 該規則提取到每一個request時都會調用該函數。 (用來過濾request)

爬取規則(Crawling rules)

繼續用騰訊招聘爲例，給出配合rule使用CrawlSpider的例子:

1. 首先運行

   scrapy shell "http://hr.tencent.com/position.php?&start=0#a" 

2. 導入LinkExtractor，建立LinkExtractor實例對象。：

   from scrapy.linkextractors import LinkExtractor page_lx = LinkExtractor(allow=('position.php?&start=\d+')) 

   allow : LinkExtractor對象最重要的參數之一，這是一個正則表達式，必需要匹配這個正則表達式(或正則表達式列表)的URL纔會被提取，若是沒有給出(或爲空), 它會匹配全部的連接｡

   deny : 用法同allow，只不過與這個正則表達式匹配的URL不會被提取)｡它的優先級高於 allow 的參數，若是沒有給出(或None), 將不排除任何連接｡

3. 調用LinkExtractor實例的extract_links()方法查詢匹配結果：

   page_lx.extract_links(response)

4. 沒有查到：

   []

5. 注意轉義字符的問題，繼續從新匹配：

   page_lx = LinkExtractor(allow=('position\.php\?&start=\d+')) # page_lx = LinkExtractor(allow = ('start=\d+')) page_lx.extract_links(response)

6.  

CrawlSpider 版本

那麼，scrapy shell測試完成以後，修改如下代碼

#提取匹配 'http://hr.tencent.com/position.php?&start=\d+'的連接 page_lx = LinkExtractor(allow = ('start=\d+')) rules = [ #提取匹配,並使用spider的parse方法進行分析;並跟進連接(沒有callback意味着follow默認爲True) Rule(page_lx, callback = 'parse', follow = True) ] 

這麼寫對嗎？

不對！千萬記住 callback 千萬不能寫 parse，再次強調：因爲CrawlSpider使用parse方法來實現其邏輯，若是覆蓋了 parse方法，crawl spider將會運行失敗。

#tencent.py import scrapy from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor from mySpider.items import TencentItem class TencentSpider(CrawlSpider): name = "tencent" allowed_domains = ["hr.tencent.com"] start_urls = [ "http://hr.tencent.com/position.php?&start=0#a" ] page_lx = LinkExtractor(allow=("start=\d+")) rules = [ Rule(page_lx, callback = "parseContent", follow = True) ] def parseContent(self, response): for each in response.xpath('//*[@class="even"]'): name = each.xpath('./td[1]/a/text()').extract()[0] detailLink = each.xpath('./td[1]/a/@href').extract()[0] positionInfo = each.xpath('./td[2]/text()').extract()[0] peopleNumber = each.xpath('./td[3]/text()').extract()[0] workLocation = each.xpath('./td[4]/text()').extract()[0] publishTime = each.xpath('./td[5]/text()').extract()[0] #print name, detailLink, catalog,recruitNumber,workLocation,publishTime item = TencentItem() item['name']=name.encode('utf-8') item['detailLink']=detailLink.encode('utf-8') item['positionInfo']=positionInfo.encode('utf-8') item['peopleNumber']=peopleNumber.encode('utf-8') item['workLocation']=workLocation.encode('utf-8') item['publishTime']=publishTime.encode('utf-8') yield item # parse() 方法不須要寫 # def parse(self, response): # pass 

運行： scrapy crawl tencent

Logging

Scrapy提供了log功能，能夠經過 logging 模塊使用。

能夠修改配置文件settings.py，任意位置添加下面兩行，效果會清爽不少。

LOG_FILE = "TencentSpider.log"
LOG_LEVEL = "INFO"

Log levels

• Scrapy提供5層logging級別:

• CRITICAL - 嚴重錯誤(critical)

• ERROR - 通常錯誤(regular errors)
• WARNING - 警告信息(warning messages)
• INFO - 通常信息(informational messages)
• DEBUG - 調試信息(debugging messages)

logging設置

經過在setting.py中進行如下設置能夠被用來配置logging:

1. LOG_ENABLED 默認: True，啓用logging
2. LOG_ENCODING 默認: 'utf-8'，logging使用的編碼
3. LOG_FILE 默認: None，在當前目錄裏建立logging輸出文件的文件名
4. LOG_LEVEL 默認: 'DEBUG'，log的最低級別
5. LOG_STDOUT 默認: False 若是爲 True，進程全部的標準輸出(及錯誤)將會被重定向到log中。例如，執行 print "hello" ，其將會在Scrapy log中顯示。