2、自學Scrapy：Scrapy之Hello World

這一講咱們經過建立一個簡單的項目，抓取BT吧這個網站的首頁，來進入Scrapy的世界。

一、經過Scrapy命令行工具建立一個Scrapy項目。打開電腦終端，輸入如下命令，同時瀏覽目錄結構。

.

├── scrapy2_demo

│    ├── __init__.py   //這個不重要

│    ├── items.py     //項目items文件

│    ├── pipelines.py  //項目pipelines文件

│    ├── settings.py  //項目settings文件

│    └── spiders     //放置scrapy的spider的地方

│         └── __init__.py

└── scrapy.cfg       //scrapy配置文件

Items.py其實就是放你抓取到的數據的地方，是數據的承載容器。

pipelines.py實際上是你把items中的數據，存儲到哪裏，如數據庫、FTP等

settings.py其實就是項目的總體配置設置的地方。

spiders文件是放爬取器的地方。

經過以上說明，大概也能瞭解scrapy的運行是什麼樣的一個過程？簡單來講，就是經過運行一個或者多個spiders中的爬取器，去爬取網頁，爬取到的數據使用items中的類進行暫存，最後經過pipelines中配置的管道輸送到數據庫或者FTP等外部存儲系統中。

固然以上的項目結構僅僅是初學的時候使用的，後期隨着學習的深刻，必然會添加更多的東西。暫時咱們按照最簡流程運行。

二、建立第一個spiders。

生成spider有兩種方法。

第一種是本身編輯一個類，而這個類從scrapy.Spider繼承便可，scrapy.Spider有不少屬性和方法，記得覆蓋和自定義屬性值便可。

第二種是經過scrapy命令行工具中genspider命令生成。

這裏咱們用第二種，用命令生成，本身編輯其實也就是按照生成的模板本身敲代碼而已。命令生成按如下步驟進行：

$ pwd  //首先是切換到項目的spiders子目錄

scrapy2_demo/scrapy2_demo/spiders

$ scrapy genspider -t basic FirstSpider btba.com.cn //以basic模板結構，生成名爲FirstSpider，域名空間爲btba.com.cn的Spider

Created spider 'FirstSpider' using template 'basic' in module:

  scrapy2_demo.spiders.FirstSpider

 $

命令解析稍後我會單獨寫一篇文章專題講解，如今先只要知道這樣用就能夠了。
三、spiders初始代碼解析

# -*- coding: utf-8 -*-

import scrapy 

class FirstspiderSpider(scrapy.Spider):

    #爲此spider設置一個在當前項目中惟一的一個名字，這個名字在運行時使用到

    name = "FirstSpider"

    #設置此spider的一個容許的domain list，可選參數，設置之後超過此域名的url將被spider丟棄，子域名不受影響。

    allowed_domains = ["btba.com.cn"]

    #爬取網頁的起始網址，通常設置網站的首頁，須要登陸才能爬取數據的，能夠設置在登陸頁。

    start_urls = (

        'http://www.btba.com.cn/',

    )

    #爬取網頁之後確定是要解析啊，否則哪裏來的數據，解析的工做就是parse方法來完成，因此他有一個response的參數傳入下載的網頁內容（response.body）。

    def parse(self, response):

        pass

四、修改spider的parse方法

def parse(self, response):

        content = response.body

        filename = 'scrapy_%s' % response.url.split('.')[1]

        with open(filename , 'wb') as file:

         file.write(content)

五、運行spider

$ pwd  //首先是切換到項目的spiders子目錄

scrapy2_demo/scrapy2_demo/spiders

$ scrapy runspider ./FirstSpider.py 

2016-11-02 16:28:11 [scrapy] INFO: Scrapy 1.2.0 started (bot: scrapy2_demo)

2016-11-02 16:28:11 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'scrapy2_demo.spiders', 'SPIDER_MODULES': ['scrapy2_demo.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'scrapy2_demo'}

2016-11-02 16:28:11 [scrapy] INFO: Enabled extensions:

['scrapy.extensions.logstats.LogStats',

 'scrapy.extensions.telnet.TelnetConsole',

 'scrapy.extensions.corestats.CoreStats']

2016-11-02 16:28:11 [scrapy] INFO: Enabled downloader middlewares:

['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

 'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',

 'scrapy.downloadermiddlewares.stats.DownloaderStats']

2016-11-02 16:28:11 [scrapy] INFO: Enabled spider middlewares:

['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

 'scrapy.spidermiddlewares.referer.RefererMiddleware',

 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

 'scrapy.spidermiddlewares.depth.DepthMiddleware']

2016-11-02 16:28:11 [scrapy] INFO: Enabled item pipelines:

[]

2016-11-02 16:28:11 [scrapy] INFO: Spider opened

2016-11-02 16:28:11 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

2016-11-02 16:28:11 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023

2016-11-02 16:28:11 [scrapy] DEBUG: Crawled (404) <GET http://www.btba.com.cn/robots.txt> (referer: None)   //這個是爬取的第一個網頁，404沒有找到

2016-11-02 16:28:11 [scrapy] DEBUG: Crawled (200) <GET http://www.btba.com.cn/> (referer: None)    //這是爬取的第二個網頁，也是咱們設置的start_urls，200成功獲取

2016-11-02 16:28:12 [scrapy] INFO: Closing spider (finished)

2016-11-02 16:28:12 [scrapy] INFO: Dumping Scrapy stats:

{'downloader/request_bytes': 436,

 'downloader/request_count': 2,

 'downloader/request_method_count/GET': 2,

 'downloader/response_bytes': 54845,

 'downloader/response_count': 2,

 'downloader/response_status_count/200': 1,

 'downloader/response_status_count/404': 1,

 'finish_reason': 'finished',

 'finish_time': datetime.datetime(2016, 11, 2, 8, 28, 12, 91071),  //爬取器完成運行時間

 'log_count/DEBUG': 3,

 'log_count/INFO': 7,

 'response_received_count': 2,

 'scheduler/dequeued': 1,

 'scheduler/dequeued/memory': 1,

 'scheduler/enqueued': 1,

 'scheduler/enqueued/memory': 1,

 'start_time': datetime.datetime(2016, 11, 2, 8, 28, 11, 714156)}  //爬取器開始運行時間

2016-11-02 16:28:12 [scrapy] INFO: Spider closed (finished)

$

六、驗證爬取結果

打開spiders目錄，咱們能夠看到scrapy_btba文件，打開一看就是btba的首頁html代碼。

七、獲取源碼

全部文章源碼能夠經過oschina的git進行獲取，地址爲：

https://git.oschina.net/DoctorS/scrapy2_demo.git

本篇博文源碼git的commit id：7ab076c05bc95e2e0a0230680b8ccdc86e6bc748