Scrapy基礎

Scrapy框架初級

什麼是Scrapy

Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，很是出名，很是強悍。所謂的框架就是一個已經被集成了各類功能（高性能異步下載，隊列，分佈式，解析，持久化等）的具備很強通用性的項目模板。對於框架的學習，重點是要學習其框架的特性、各個功能的用法便可。

安裝方法

Linux： pip3 install scrapy Windows： a. pip3 install wheel b. 下載twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 進入下載目錄，執行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl d. pip3 install pywin32 e. pip3 install scrapy 

基礎使用

1.建立項目:scrapy startproject 項目名稱

項目結構： project_name/ scrapy.cfg： project_name/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py 文件做用： scrapy.cfg 項目的主配置信息。（真正爬蟲相關的配置信息在settings.py文件中） items.py 設置數據存儲模板，用於結構化數據，如：Django的Model pipelines 數據持久化處理 settings.py 配置文件，如：遞歸的層數、併發數，延遲下載等 spiders 爬蟲目錄，如：建立文件，編寫爬蟲解析規則 

2.建立爬蟲應用程序：

cd project_name（進入項目目錄） scrapy genspider 應用名稱 爬取網頁的起始url （例如：scrapy genspider qiubai www.qiushibaike.com） 

3.應用

爬蟲文件：

import scrapy from secondblood.items import SecondbloodItem class QiubaidemoSpider(scrapy.Spider): name = 'qiubaiDemo' allowed_domains = ['www.qiushibaike.com'] start_urls = ['http://www.qiushibaike.com/'] def parse(self, response): odiv = response.xpath('//div[@id="content-left"]/div') for div in odiv: # xpath函數返回的爲列表，列表中存放的數據爲Selector類型的數據。咱們解析到的內容被封裝在了Selector對象中，須要調用extract()函數將解析的內容從Selecor中取出。 author = div.xpath('.//div[@class="author clearfix"]//h2/text()').extract_first() author = author.strip('\n')#過濾空行 content = div.xpath('.//div[@class="content"]/span/text()').extract_first() content = content.strip('\n')#過濾空行 #將解析到的數據封裝至items對象中 item = SecondbloodItem() item['author'] = author item['content'] = content yield item#提交item到管道文件（pipelines.py） 

items文件

import scrapy class SecondbloodItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() author = scrapy.Field() #存儲做者 content = scrapy.Field() #存儲段子內容 

管道文件

class SecondbloodPipeline(object): #構造方法 def __init__(self): self.fp = None #定義一個文件描述符屬性 　　#下列都是在重寫父類的方法： #開始爬蟲時，執行一次 def open_spider(self,spider): print('爬蟲開始') self.fp = open('./data.txt', 'w') 　　 #由於該方法會被執行調用屢次，因此文件的開啓和關閉操做寫在了另外兩個只會各自執行一次的方法中。 def process_item(self, item, spider): #將爬蟲程序提交的item進行持久化存儲 self.fp.write(item['author'] + ':' + item['content'] + '\n') return item #結束爬蟲時，執行一次 def close_spider(self,spider): self.fp.close() print('爬蟲結束') 

配置文件

#假裝請求載體身份 USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #能夠忽略或者不遵照robots協議 ROBOTSTXT_OBEY = False #開啓管道 ITEM_PIPELINES = { 'secondblood.pipelines.SecondbloodPipeline': 300, #300表示爲優先級，值越小優先級越高 } 

執行

scrapy crawl 應用名稱 

Scrapy組件

　　

引擎(Scrapy) 用來處理整個系統的數據流處理, 觸發事務(框架核心) 調度器(Scheduler) 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回.能夠想像成一個URL（抓取網頁的網址或者說是連接）的優先隊列,由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址 下載器(Downloader) 用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是創建在twisted這個高效的異步模型上的) 爬蟲(Spiders) 爬蟲是主要幹活的, 用於從特定的網頁中提取本身須要的信息,即所謂的實體(Item)。用戶也能夠從中提取出連接,讓Scrapy繼續抓取下一個頁面 項目管道(Pipeline) 負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證明體的有效性、清除不須要的信息。當頁面被爬蟲解析後，將被髮送到項目管道，並通過幾個特定的次序處理數據。 引擎首先會將爬蟲文件中的起始url獲取，而且提交到調度器中。若是須要從url中下載數據，則調度器會將url經過引擎提交給下載器，下載器根據url去下載指定內容（響應體）。下載好的數據會經過引擎移交給爬蟲文件，爬蟲文件能夠將下載的數據進行指定格式的解析。若是解析出的數據須要進行持久化存儲，則爬蟲文件會將解析好的數據經過引擎移交給管道進行持久化存儲。 

發送post請求

爬蟲文件中的類繼承了Spider父類中的start_requests（self）這個方法 def start_requests(self): for u in self.start_urls: yield scrapy.Request(url=u,callback=self.parse) 重寫該方法便可 def start_requests(self): #請求的url post_url = 'http://fanyi.baidu.com/sug' # 表單數據 formdata = { 'kw': 'wolf', } # 發送post請求 yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)