python爬蟲框架scrapy 豆瓣實戰

時間  2019-11-20
標籤 python 爬蟲 框架 scrapy 豆瓣 實戰 欄目 Python 简体版
原文   原文鏈接

Scrapy

官方介紹是html

An open source and collaborative framework for extracting the data you need from websites.node

In a fast, simple, yet extensible way.python

意思就是web

一個開源和協做框架，用於以快速，簡單，可擴展的方式從網站中提取所需的數據。sql

 

環境準備

本文項目使用環境及工具以下mongodb

  • python3
  • scrapy
  • mongodb

python3 scrapy的安裝就再也不敘述chrome

mongodb是用來存儲數據的nosql非關係型數據庫 官方下載地址https://www.mongodb.com/download-center/community?jmp=docs數據庫

mongodb圖形化管理工具推薦使用nosqlmanagerjson

 項目建立

沒錯，咱們仍是挑軟柿子捏，就爬取最簡單的豆瓣電影top250api

😂這個網站幾乎是每一個學習爬蟲的人都會去爬取的網站，這個網站特別有表明性 話很少說，項目開始

建立scrapy項目須要在命令行中進行

切換到工做目錄，而後輸入指令  scrapy startproject douban

即建立成功，而後使用pycharm打開項目 首先看下目錄結構

咱們發現項目spiders中只有一個文件，放爬蟲的地方怎麼會只有一個__init__.py呢 

別急咱們還須要輸入一個命令來建立基本爬蟲  打開cmd切換到目錄文件夾下的spiders目錄

輸入 scrapy genspider douban_spider https://movie.douban.com/top250

以下圖建立爬蟲成功  

而後咱們打開項目分析目錄結構

douban                                                      項目文件夾

　　spiders　　　　　　　　　　　　    爬蟲文件夾

　　　　__init__.py

　　　　douban_spider.py　　　　　　 爬蟲文件

　　__init__.py

　　ietms.py　　　　　　　　　　　　  定義items數據結構的地方（即咱們爬取內容的屬性之類的信息）

　　middlewares.py　　　　　　　　　 中間件

　　pipelines.py　　　　　　　　　　　定義對於items的處理方法（數據清洗等）（須要在settings中開啓pipelines選項）

　　settings.py　　　　　　　　　　　 項目的設置文件，定義全局的各類設置（好比頭部代理，任務併發量，下載延遲等等）

scrapy.cfg                                                 項目的配置文件（包含一些默認的配置信息）

至此咱們的的項目算是建立成功了

 

肯定內容

建立好項目以後下一步就是肯定咱們要爬取的內容了，而後才能夠開始編寫咱們的items.py文件

首先打開目標網頁進行分析 

網頁中有哪些東西是咱們須要的呢？

  • 電影排名編號
  • 電影名稱
  • 電影演職員以及年份分類
  • 電影星級評分 
  • 評論人數
  • 電影簡介 

如今就能夠根據內容來編寫items.py文件了

items.py文件代碼編寫以下

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class DoubanItem(scrapy.Item):
    #示例
    # define the fields for your item here like:
    # name = scrapy.Field()

    serial_number = scrapy.Field()#排名
    movie_name = scrapy.Field()#電影名稱
    introduce = scrapy.Field()#電影簡介基本信息
    star = scrapy.Field()#電影星級評分
    evaluate = scrapy.Field()#電影評論人數
    describe = scrapy.Field()#電影內容簡介

 

 

內容提取spider文件編寫

肯定內容以後就是很是關鍵的spider爬蟲文件編寫了 

測試階段douban_spider.py文件編寫以下：

# -*- coding: utf-8 -*-
import scrapy


class DoubanSpiderSpider(scrapy.Spider):
    #爬蟲名字
    name = 'douban_spider'
    #容許的域名 爬取url都屬於這個域名
    allowed_domains = ['movie.douban.com']
    #起始url
    start_urls = ['https://movie.douban.com/top250/']

    def parse(self, response):
        print(response.text)#打印響應內容
        pass

而後咱們須要運行下咱們的爬蟲看下如今可否出什麼信息

打開命令窗口並cd到項目目錄下輸入命令   scrapy crawl douban_spider

douban_spider是爬蟲的名字

運行以下圖

發現裏面有爬蟲的信息也有返回響應的信息，可是咱們能夠看出來沒有咱們想要的電影信息，如今怎麼辦？

稍微學習過爬蟲的同窗都知道，爬蟲是須要修改 USER_AGENT 的，這也是最簡單的反爬蟲機制，因此咱們一樣須要去修改咱們爬蟲的用戶代理

去哪找頭部代理呢？簡單一點的能夠直接去百度搜索一個，或者呢咱們用瀏覽器調試臺把本身的用戶代理複製下來

例如chrome瀏覽器按F12點擊一個資源複製出來用戶代理便可再也不贅述

打開settings.py文件  找到USER_AGENT修改以下：

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'

而後咱們再次打開命令窗口並cd到項目目錄下輸入命令   scrapy crawl douban_spider

發現已經有了咱們想要的電影信息

同時每次在命令行運行spider確實不方便，咱們能夠在項目中添加一個main.py的啓動文件以下

main.py編寫代碼：

from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())

運行，發現就獲得了與命令行運行同樣的效果了

接下來的工做就是數據處理了，提取出咱們想要的信息  繼續編寫spider.py文件

對於數據的提取咱們使用xpath定位 先來觀察目標網站的元素 咱們能夠看到top250電影中每一頁有25個電影信息 而且每一個電影信息都是一個列表 li

xpath有好多種寫法 咱們能夠審查元素而後編寫xpath定位，或者呢直接用chrome也能夠直接獲取某元素的xpath路徑

例如使用某xpath瀏覽器插件來找咱們須要的元素 咱們首先先找到每一個電影的定位

如圖咱們編寫 //ol[@class='grid_view']/li/div[@class='item'] 就能夠定位到當前每一個電影 其實咱們簡單點直接寫 //ol/li 也能夠，可是咱們最好直接精確一點 xpath語法以下

表達式 描述
nodename 選取此節點的全部子節點。
/ 從根節點選取。
// 從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。
. 選取當前節點。
.. 選取當前節點的父節點。
@ 選取屬性。

而後同理，咱們就能夠找到電影排名，名稱，評論等等信息的xpath， 接下來在spider.py文件中引用咱們的 items.py中編寫的DoubanItem類 而後完成對象屬性的賦值

spider.py文件代碼：

# -*- coding: utf-8 -*-
import scrapy
from douban.items import DoubanItem


class DoubanSpiderSpider(scrapy.Spider):
    #爬蟲名字
    name = 'douban_spider'
    #容許的域名 爬取url都屬於這個域名
    allowed_domains = ['movie.douban.com']
    #起始url
    start_urls = ['https://movie.douban.com/top250/']

    #默認解析方法
    def parse(self, response):
        # 注意在python語句中使用xpath如 注意與原來語句單雙引號的問題
        movie_list=response.xpath("//ol[@class='grid_view']/li/div[@class='item']")
        for movie_item in movie_list:
            douban_item=DoubanItem()
            #xpath語句最後的text()是獲取當前xpath的內容
            # scrapy get() getall()方法得到xpath路徑的值 兩種方法不一樣請百度
            douban_item['serial_number'] = movie_item.xpath(".//em/text()").get()
            douban_item['movie_name'] = movie_item.xpath(".//span[@class='title']/text()").get()
            #介紹的內容很是不規範而且有好多行，首先使用getall()來獲取，而後咱們要對其進行處理
            content = movie_item.xpath(".//div[@class='bd']/p[1]/text()").getall()
            #處理
            contient_introduce=''
            for conitem in content:
                content_s=''.join(conitem.split())
                contient_introduce=contient_introduce+content_s+'  '
            #賦值
            douban_item['introduce'] = contient_introduce
            douban_item['star'] = movie_item.xpath(".//span[@class='rating_num']/text()").get()
            douban_item['evaluate'] = movie_item.xpath(".//div[@class='star']/span[4]/text()").get()
            douban_item['describe'] = movie_item.xpath(".//div[@class='bd']/p[2]/span/text()").get()
            #咱們須要把獲取到的東西yield到douban_item中，不然咱們的管道pipelines.py沒法接收數據
            yield douban_item

        #咱們須要自動翻頁到下一頁去解析數據
        next_linkend=response.xpath("//span[@class='next']/a/@href").get()
        #判斷next_linkend是否存在
        if next_linkend:
            next_link = 'https://movie.douban.com/top250/'+next_linkend
            #一樣須要yield提交到調度器中 同時添加一個回調函數(剛剛編寫的數據提取函數)
            yield scrapy.Request(next_link,callback=self.parse)

數據存儲

咱們可使用命令直接將數據保存到 json或者csv文件以下

仍是使用命令行   cd到項目目錄  

輸入命令  scrapy crawl douban_spider -o test.json 就能夠獲得一個json文件

輸入命令  scrapy crawl douban_spider -o test.csv  就能夠獲得一個csv文件

這個csv文件能夠直接用excel打開瀏覽，可是咱們會發現存在亂碼，咱們能夠先用notepad++打開文件改下編碼方式而後保存再用excel打開便可

存儲到數據庫

接下來咱們須要對pipelines.py進行編寫，將數據存儲到mongodb中

注意咱們須要在setting.py中將 ITEM_PIPELINES 的註釋關掉，這樣才能正常的運行pipelines.py

pipelines.py代碼：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

import pymongo
#鏈接本地數據庫   遠程也能夠
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
#數據庫名稱
mydb = myclient["douban"]
#數據表名稱
mysheet = mydb["movie"]

class DoubanPipeline(object):
    #此中的item就是剛剛yield回來的
    def process_item(self, item, spider):
        data=dict(item)
        #插入數據
        mysheet.insert(data)
        return item

如今運行 main.py 數據就存儲到數據庫之中了，咱們能夠打開數據庫查看數據

至此，咱們的爬蟲項目能夠說已經完成了。

 

爬蟲假裝

  • ip代理中間件
  • user-agent中間件

ip代理須要購買服務器而後可使用先不提了 

咱們嘗試下user-agent中間件

編寫middlewares.py再最後新加入咱們本身編寫的類(文件最上端要 import random)：

class my_useragent(object):
    def process_request(self,request,spider):
        USER_AGENT_LIST = [
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
            "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
            "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
            "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
            "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
            "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
            "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
            "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
            "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        ]
        agent = random.choice(USER_AGENT_LIST)
        request.headers['User_Agent'] = agent

而後去 settings.py 中開啓中間件並修改成咱們剛剛建立的類以下圖

而後再運行 main.py 就都OK了。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程