Scrapy 經過登陸的方式爬取豆瓣影評數據

時間 2019-11-20

標籤 scrapy 經過登陸方式豆瓣影評數據欄目 Python 简体版

原文原文鏈接

Scrapy 經過登陸的方式爬取豆瓣影評數據

爬蟲

Scrapy

豆瓣

Fly

因爲須要爬取影評數據在來作分析，就選擇了豆瓣影評來抓取數據，工具使用的是Scrapy工具來實現。scrapy工具使用起來比較簡單，主要分爲如下幾步：html

一、建立一個項目 ==scrapy startproject Doubanpython

獲得一個項目目錄以下：web

├── Douban
│   ├── init.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│   └── init.py
└── scrapy.cfg面試

2 directories, 6 filesdom
而後定義一個Item項
定義Item項，主要是爲了方便獲得爬取得內容。（根據我的須要定義吧，不定義也能夠。）scrapy
定義一個爬蟲類
由上面的目錄上，知道放在spider下面。能夠根據不一樣的須要繼承 scrapy.Spider 或者是CrawlSpider。而後定義url以及parse方法
固然也能夠使用命令來生成模板scrapy genspider douban douban.comide
抓取內容
使用命令 scrapy crawl spidername工具

具體能夠參照Scrapy手冊(scrapy tutorial)this

經過scrapy 參考手冊的程序定義以後，會發如今爬不到數據，這是由於豆瓣使用了反爬蟲機制。咱們能夠在setting.py內啓動DOWNLOAD_DELAY=3 以及User-Agent代理：USER_AGENT = 'Douban (+http://www.douban.com)'url

這樣就能夠開啓爬蟲了。
可是在爬取豆瓣影評數據的時候，會發現，最多隻能爬取10頁，而後豆瓣就須要你登陸。否則就只能爬取10頁數據（從瀏覽去看，也是隻能看到10頁數據）。

這就須要咱們登陸以後再去爬取數據了。
而後在Scrapy手冊的Spider部分，發現了能夠使用以下方式實現登陸：

 
    class MySpider(scrapy.Spider):  
      
 name = 'myspider'  
      
 def start_requests(self):  
      
 return [scrapy.FormRequest("http://www.example.com/login",  
      
 formdata={'user': 'john', 'pass': 'secret'},  
      
 callback=self.logged_in)]  
      
 def logged_in(self, response):  
      
 # here you would extract links to follow and return Requests for  
      
 # each of them, with another callback  
      
 pass

經過上面的方法，就能夠實現登陸豆瓣爬取想要的數據了。

** 本篇筆記初略的記錄瞭如何登陸豆瓣爬取數據。

下面試本身寫的spider/Doubanspider.py的代碼，僅供參考：

 
    # -*- coding: utf-8 -*-  
      
import scrapy  
      
from scrapy.selector import Selector  
      
from Douban.items import DoubanItem  
      
class Doubanspider(scrapy.Spider):  
      
 # 定義爬蟲的名字  
      
 name = "doubanmovie"  
      
 allowed_domains = ["douban.com"]  
      
 # 初始化url  
      
 # start_urls = (  
      
 # 'https://movie.douban.com/subject/26266072/comments',  
      
 # )  
      
 def start_requests(self):  
      
 # print u'開始'  
      
 return [scrapy.FormRequest('https://www.douban.com/login',  
      
 formdata={'form_email': 'your username', 'form_password': 'your password'}, callback = self.logged_in)]  
      
 def logged_in(self, response):  
      
 # 登錄完成以後開始爬取數據  
      
 # print u'成功？'  
      
 yield Request('https://movie.douban.com/subject/26266072/comments', callback = self.parse)  
      
 # 定義解析的方法  
      
 def parse(self, response):  
      
 # print u'爬取'  
      
 sel = Selector(response)  
      
 self.log("Hi, this is an item page! %s" % response.url)  
      
 item = DoubanItem()  
      
 # 每條短評的xpath  
      
 item['comment'] = sel.xpath('//div[@class = "comment"]/p[@class = ""]/text()[1]').extract()  
      
 # 每一個評分的xpath  
      
 item['grade'] = sel.xpath('//div[@class = "comment"]/h3/span[@class = "comment-info"]/span[contains(@class,"allstar")]/@title').extract()  
      
 yield item  
      
 # 下一頁的xpath， 若有，則又發出新的請求  
      
 next_page = '//div[@id = "paginator"]/a[@class="next"]/@href'  
      
 if response.xpath(next_page):  
      
 url_nextpage = 'https://movie.douban.com/subject/26266072/comments' + response.xpath(next_page).extract()[0]  
      
 request = Request(url_nextpage, callback = self.parse)  
      
 yield request

items.py的定義以下：

 
    import scrapy  
      
class DoubanItem(scrapy.Item):  
      
 # define the fields for your item here like:  
      
 # name = scrapy.Field()  
      
 comment = scrapy.Field()  
      
 grade = scrapy.Field()