三 web爬蟲，scrapy模塊介紹與使用

Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 其能夠應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
其最初是爲了頁面抓取 (更確切來講, 網絡抓取 )所設計的， 也能夠應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途普遍，能夠用於數據挖掘、監測和自動化測試。

Scrapy 使用了 Twisted異步網絡庫來處理網絡通信。總體架構大體以下

 

Scrapy主要包括瞭如下組件：

• 引擎(Scrapy)
  用來處理整個系統的數據流處理, 觸發事務(框架核心)
• 調度器(Scheduler)
  用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 能夠想像成一個URL（抓取網頁的網址或者說是連接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
• 下載器(Downloader)
  用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是創建在twisted這個高效的異步模型上的)
• 爬蟲(Spiders)
  爬蟲是主要幹活的, 用於從特定的網頁中提取本身須要的信息, 即所謂的實體(Item)。用戶也能夠從中提取出連接,讓Scrapy繼續抓取下一個頁面
• 項目管道(Pipeline)
  負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證明體的有效性、清除不須要的信息。當頁面被爬蟲解析後，將被髮送到項目管道，並通過幾個特定的次序處理數據。
• 下載器中間件(Downloader Middlewares)
  位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
• 爬蟲中間件(Spider Middlewares)
  介於Scrapy引擎和爬蟲之間的框架，主要工做是處理蜘蛛的響應輸入和請求輸出。
• 調度中間件(Scheduler Middewares)
  介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。

 

Scrapy運行流程大概以下：

1. 引擎從調度器中取出一個連接(URL)用於接下來的抓取
2. 引擎把URL封裝成一個請求(Request)傳給下載器
3. 下載器把資源下載下來，並封裝成應答包(Response)
4. 爬蟲解析Response
5. 解析出實體（Item）,則交給實體管道進行進一步的處理
6. 解析出的是連接（URL）,則把URL交給調度器等待抓取

 

建立Scrapy框架項目

Scrapy框架項目是有python安裝目錄裏的Scripts文件夾裏scrapy.exe文件建立的，因此python安裝目錄下的Scripts文件夾要配置到系統環境變量裏，才能運行命令生成項目

建立項目

首先運行cmd終端，而後cd 進入要建立項目的目錄，如：cd H:\py\14

進入要建立項目的目錄後執行命令 scrapy startproject 項目名稱

scrapy startproject pach1

項目建立成功

 

項目說明

目錄結構以下：

├── firstCrawler

│   ├── __init__.py

│   ├── items.py

│   ├── middlewares.py

│   ├── pipelines.py

│   ├── settings.py

│   └── spiders

│       └── __init__.py

└── scrapy.cfg

• scrapy.cfg: 項目的配置文件
• tems.py: 項目中的item文件，用來定義解析對象對應的屬性或字段。
• pipelines.py: 負責處理被spider提取出來的item。典型的處理有清理、 驗證及持久化(例如存取到數據庫）
  
• settings.py: 項目的設置文件.
• spiders：實現自定義爬蟲的目錄
• middlewares.py：Spider中間件是在引擎及Spider之間的特定鉤子(specific hook)，處理spider的輸入(response)和輸出(items及requests)。 其提供了一個簡便的機制，經過插入自定義代碼來擴展Scrapy功能。

 

建立第一個爬蟲

建立爬蟲文件在spiders文件夾裏建立

一、建立一個類必須繼承scrapy.Spider類，類名稱自定義

類裏的屬性和方法：

name屬性，設置爬蟲名稱
allowed_domains屬性，設置爬取的域名，不帶http
start_urls屬性，設置爬取的URL，帶http
parse()方法，爬取頁面後的回調方法，response參數是一個對象，封裝了全部的爬取信息

response對象的方法和屬性

response.url獲取抓取的rul
response.body獲取網頁內容字節類型
response.body_as_unicode()獲取網站內容字符串類型

# -*- coding: utf-8 -*-
import scrapy


class AdcSpider(scrapy.Spider):
    name = 'adc'                                        #設置爬蟲名稱
    allowed_domains = ['www.shaimn.com']
    start_urls = ['http://www.shaimn.com/xinggan/']

    def parse(self, response):
        current_url = response.url                      #獲取抓取的rul
        body = response.body                            #獲取網頁內容字節類型
        unicode_body = response.body_as_unicode()       #獲取網站內容字符串類型
        print(unicode_body)

爬蟲寫好後執行爬蟲，cd到爬蟲目錄裏執行scrapy crawl adc --nolog命令，說明：scrapy crawl adc(adc表示爬蟲名稱) --nolog(--nolog表示不顯示日誌)

也能夠在PyCharm執行命令