Python爬蟲 --- 2.3 Scrapy 框架的簡單使用

時間 2019-11-29

標籤 python 爬蟲 2.3 scrapy 框架簡單使用欄目 Python 简体版

原文原文鏈接

原文連接：www.fkomm.cn/article/201…html

網絡爬蟲，是在網上進行數據抓取的程序，使用它可以抓取特定網頁的HTML數據。python

Scrapy框架的簡單使用：

雖然咱們利用一些庫開發一個爬蟲程序，可是使用框架能夠大大提升效率，縮短開發時間。Scrapy是一個使用Python編寫的，輕量級的框架，簡單輕巧，而且使用起來很是的方便。使用Scrapy能夠很方便的完成網上數據的採集工做，它爲咱們完成了大量的工做，而不須要本身費大力氣去開發。web

下面咱們來經過一個很簡單的例子來介紹Scrapy框架的使用。chrome

咱們要爬的網址是：搜讀網： www.sodu.cc。緩存

我喜歡在這個網站看小說，裏面的小說內容仍是比較豐富的，推薦讀者喜歡看小說的能夠來看看。由於只是簡單介紹，因此我只準備抓取小說的標題。bash

好的，基本流程既然肯定了，那接下來就一步一步的完成就能夠了。網絡

其實只須要四步便可！！！框架

步驟一：建立一個工程和Spider模板

咱們先用命令行建立一個Scrapy工程：dom

$ scrapy startproject souduscrapy

接着，咱們進入到工程目錄：

$ cd soudu

咱們來看一下目錄結構：

tree
# OUT:
.
├── soudu                  #外層目錄
│   ├── __init__.py         #初始化腳本 
│   ├── __pycache__         #Python緩存文件。暫時無視
│   ├── items.py            #Items代碼模板，繼承類自scrapy.Item
│   ├── middlewares.py      #Middlewares代碼模板(繼承類)
│   ├── pipelines.py        #Pipelines代碼模板(繼承類)
│   ├── settings.py         #Scrapy爬蟲的配置文件
│   └── spiders             #Spiders代碼模板目錄 咱們寫爬蟲的地方
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg              #部署爬蟲的配置文件

4 directories, 7 files
複製代碼

最後，咱們用命令行建立第一個Spider：

$ scrapy genspider title www.sodu.cc

這樣咱們就建立了一個名爲title的爬蟲了。

咱們來看看他長什麼樣，打開/spiders/title.py:

# -*- coding: utf-8 -*-
import scrapy

class NewsSpider(scrapy.Spider):
    name = 'title'
    allowed_domains = ['www.sodu.cc']
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        pass
複製代碼

能夠看到，Scrapy已經幫咱們把爬蟲的框架寫好了，咱們只要在這個框架的基礎上進行進一步的定製就能夠了。

步驟二：編寫Spider

咱們來着手定製咱們的爬蟲吧：

看一下詳細的註釋

# -*- coding: utf-8 -*-
import scrapy

# 將咱們須要爬的項目引入進來
from soudu.items import SouduItem

class DemoSpider(scrapy.Spider):

    #該爬蟲的名字
    name = "title"

    #規定爬蟲爬取網頁的域名 
    allowed_domains = ['www.sodu.cc']

    #開始爬取的url連接
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        ''' parse()函數接收Response參數，就是網頁爬取後返回的數據 用於處理響應，他負責解析爬取的內容 生成解析結果的字典，並返回新的須要爬取的請求 '''

        #因爲是demo 咱們不作徹底的功能，
        #只要求爬取出第一部小說的名字
        #xpath規則能夠經過查看網頁源文件得出，chrome右鍵檢查定位到所要爬取的內容
        name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0]

        #創建一個items字典，用於保存咱們爬到的結果，並返回給pipline處理
        items = {}
        items['第一部小說名']= name

        return items
複製代碼

步驟三：編寫Item Pipeline

首先咱們編寫itmes.py來定義這個爬蟲框架須要爬哪些內容：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class SouduItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
複製代碼

接着咱們編寫 piplines.py來處理spider爬到的內容：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
class ZimukuPipeline(object):
    def process_item(self, item, spider):

        # 由於是最簡單的，因此咱們把爬到的結果打印一下

        print(item)

        return item
複製代碼

步驟四：優化配置Settings.py

# -*- coding: utf-8 -*-

# Scrapy settings for soudu project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://doc.scrapy.org/en/latest/topics/settings.html
# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'soudu'

SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'soudu (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

#只增長了這一行，經過配置告訴Scrapy明白是誰來處理結果
ITEM_PIPELINES = {
   'soudu.pipelines.SouduPipeline': 300,
}
複製代碼

好了，這樣一個爬蟲就算完成了，那怎麼獲取爬到的結果呢？？？

運行

首先咱們經過命令來執行爬蟲：

$ scrapy crawl title

讓咱們這個最最簡單的爬蟲跑起來。

來看一下結果：

我只截取部分咱們須要的內容，其餘的我且暫不寫出了：

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小說名': '聖墟'}
複製代碼

是否是能夠看到咱們須要找到的內容了？

Scrapy框架的基本使用已經說完了，之後我會一步一步來說解其餘的例子。