Scrapy簡單入門及實例講解

Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 其能夠應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。其最初是爲了頁面抓取 (更確切來講, 網絡抓取 )所設計的， 也能夠應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途普遍，能夠用於數據挖掘、監測和自動化測試。

Scrapy 使用了 Twisted異步網絡庫來處理網絡通信。總體架構大體以下

 

Scrapy主要包括瞭如下組件：

• 引擎(Scrapy)
  用來處理整個系統的數據流, 觸發事務(框架核心)
• 調度器(Scheduler)
  用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 能夠想像成一個URL（抓取網頁的網址或者說是連接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
• 下載器(Downloader)
  用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是創建在twisted這個高效的異步模型上的)
• 爬蟲(Spiders)
  爬蟲是主要幹活的, 用於從特定的網頁中提取本身須要的信息, 即所謂的實體(Item)。用戶也能夠從中提取出連接,讓Scrapy繼續抓取下一個頁面
• 項目管道(Pipeline)
  負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證明體的有效性、清除不須要的信息。當頁面被爬蟲解析後，將被髮送到項目管道，並通過幾個特定的次序處理數據。
• 下載器中間件(Downloader Middlewares)
  位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
• 爬蟲中間件(Spider Middlewares)
  介於Scrapy引擎和爬蟲之間的框架，主要工做是處理蜘蛛的響應輸入和請求輸出。
• 調度中間件(Scheduler Middewares)
  介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。

Scrapy運行流程大概以下：

1. 引擎從調度器中取出一個連接(URL)用於接下來的抓取
2. 引擎把URL封裝成一個請求(Request)傳給下載器
3. 下載器把資源下載下來，並封裝成應答包(Response)
4. 爬蟲解析Response
5. 解析出實體（Item）,則交給實體管道進行進一步的處理
6. 解析出的是連接（URL）,則把URL交給調度器等待抓取

 

1、安裝

    一、安裝wheel
        pip install wheel
    二、安裝lxml
        https://pypi.python.org/pypi/lxml/4.1.0
    三、安裝pyopenssl
        https://pypi.python.org/pypi/pyOpenSSL/17.5.0
    四、安裝Twisted
        https://www.lfd.uci.edu/~gohlke/pythonlibs/
    五、安裝pywin32
        https://sourceforge.net/projects/pywin32/files/
    六、安裝scrapy
        pip install scrapy

 

 注：windows平臺須要依賴pywin32，請根據本身系統32/64位選擇下載安裝，https://sourceforge.net/projects/pywin32/

 

2、爬蟲舉例

 

入門篇：美劇天堂前100最新（http://www.meijutt.com/new100.html）

一、建立工程

1	scrapy startproject movie

 

二、建立爬蟲程序

1 2	cd movie scrapy genspider meiju meijutt.com

 

三、自動建立目錄及文件

 

四、文件說明：

• scrapy.cfg  項目的配置信息，主要爲Scrapy命令行工具提供一個基礎的配置信息。（真正爬蟲相關的配置信息在settings.py文件中）
• items.py    設置數據存儲模板，用於結構化數據，如：Django的Model
• pipelines    數據處理行爲，如：通常結構化的數據持久化
• settings.py 配置文件，如：遞歸的層數、併發數，延遲下載等
• spiders      爬蟲目錄，如：建立文件，編寫爬蟲規則

注意：通常建立爬蟲文件時，以網站域名命名

 

五、設置數據存儲模板

　　items.py

1 2 3 4 5 6 7 8

import scrapy     class  MovieItem(scrapy.Item):      # define the fields for your item here like:      # name = scrapy.Field()      name = scrapy.Field()

 

六、編寫爬蟲

　　meiju.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

# -*- coding: utf-8 -*- import scrapy from  movie.items import MovieItem   class  MeijuSpider(scrapy.Spider):      name =  "meiju"      allowed_domains = [ "meijutt.com" ]      start_urls = [ 'http://www.meijutt.com/new100.html' ]        def parse(self, response):          movies = response.xpath( '//ul[@class="top-list  fn-clear"]/li' )          for  each_movie  in  movies:              item = MovieItem()              item[ 'name' ] = each_movie.xpath( './h5/a/@title' ).extract()[0]              yield item

 

七、設置配置文件

　　settings.py增長以下內容

1	ITEM_PIPELINES = { 'movie.pipelines.MoviePipeline' :100}

 

八、編寫數據處理腳本

　　pipelines.py

1 2 3 4

class  MoviePipeline( object ):      def process_item(self, item, spider):          with open( "my_meiju.txt" , 'a' )  as  fp:              fp.write(item[ 'name' ].encode( "utf8" ) +  '\n' )

 

九、執行爬蟲

1 2	cd movie scrapy crawl meiju --nolog

 

十、結果