scrapy中selenium的應用

引入 : 

　　在經過scrapy框架進行某些網站數據爬取的時候，每每會碰到頁面動態數據加載的狀況發生，若是直接使用scrapy對其url發請求，是絕對獲取不到那部分動態加載出來的數據值。可是經過觀察咱們會發現，經過瀏覽器進行url請求發送則會加載出對應的動態加載出的數據。那麼若是咱們想要在scrapy也獲取動態加載出的數據，則必須使用selenium建立瀏覽器對象，而後經過該瀏覽器對象進行請求發送，獲取動態加載的數據值。

 

在scrapy中selenium應用  

1 . 需求 : 　　

　　好比 : 咱們要爬蟲網易新聞的國內 / 軍事.板塊的新聞數據

　　當咱們點擊點擊國內超連接進入國內相對的頁面時,會發現當前頁面展現的新聞數據時被動加載出來的,若是直接經過程序對url進行請求,是獲取不到動態加載出的新聞數據的.這個時候就須要使用selenium實例化一個瀏覽器對象,在該對象中進行url請求,獲取動態加載的新聞數據 . 

2 . selenium在scrapy中使用的原理分析 : 

 

 

 

 

 

 

 

 

 

 

當引擎將國內板塊url對應的請求提交給下載器後，下載器進行網頁數據的下載，而後將下載到的頁面數據，封裝到response中，提交給引擎，引擎將response在轉交給Spiders。Spiders接受到的response對象中存儲的頁面數據裏是沒有動態加載的新聞數據的。要想獲取動態加載的新聞數據，則須要在下載中間件中對下載器提交給引擎的response響應對象進行攔截，切對其內部存儲的頁面數據進行篡改，修改爲攜帶了動態加載出的新聞數據，而後將被篡改的response對象最終交給Spiders進行解析操做。

3 . selenium在scrapy中的使用流程 : 

- . 在spider的init方法中實例化一個瀏覽器對象(瀏覽器對象只須要被實例化一次)
- . 在spider的closed方法中關閉瀏覽器對象
- . 在下載中間件類的process_response方法中接收spider中的瀏覽器對象
- . 處理執行相關自動化操做(發起請求,獲取頁面數據)
- . 實例化一個新的響應對象(from scrapy.http import HtmlResponse),且將頁面數據存儲到該對象中
- . 返回新的響應對象
- . 在配置文件中開啓中間件

 

4 . 案例演示 : 

　　-爬蟲文件 : 

class WangyiSpider(RedisSpider):
    name = 'wangyi'
    #allowed_domains = ['www.xxxx.com']
    start_urls = ['https://news.163.com']
    def __init__(self):
        #實例化一個瀏覽器對象(實例化一次)
        self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')

    #必須在整個爬蟲結束後，關閉瀏覽器
    def closed(self,spider):
        print('爬蟲結束')
        self.bro.quit()
"""
獲取url以後不能直接解析,由於如今的response是沒有動態加載出來數據的
start_urls 這個請求對應的響應式能夠攔截的,先執行攔截的操做,先進行攔截的操做再過來解析    
  全部先去看攔截那個中間件-->WangyiproDownloaderMiddleware
"""

- . 中間件文件

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep

    #參數介紹：
    #攔截到響應對象（下載器傳遞給Spider的響應對象）
    #request：響應對象對應的請求對象
    #response：攔截到的響應對象
    #spider：爬蟲文件中對應的爬蟲類的實例

class WangyiproDownloaderMiddleware(object):
    # Not all methods need to be defined. If a method is not defined,
    # scrapy acts as if the downloader middleware does not modify the
    # passed objects.

    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        s = cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        return s

    def process_request(self, request, spider):
        # Called for each request that goes through the downloader
        # middleware.

        # Must either:
        # - return None: continue processing this request
        # - or return a Response object
        # - or return a Request object
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called

        # 這個None表示若是當前類中的方法攔截不到指定請求以後,
        # 就用後面的類方法攔截,能夠不寫
        return None


    # 攔截響應,
    # spider是爬蟲類WangyiSpider的實例化對象,
    # 經過spider對象獲取方法,就是說能夠把實例化selenium的方法寫在爬蟲文件中
    # 由於打開瀏覽器只要一次就能夠了,可是中間件中都是執行屢次的
    # 最後將實例化好的瀏覽器經過spider的參數傳遞給中間件
    # request就是請求對象對應的響應對象

    def process_response(self, request, response, spider):
        # Called with the response returned from the downloader.

        # Must either;
        # - return a Response object
        # - return a Request object
        # - or raise IgnoreRequest
        print('即將返回一個新的響應對象!!!')
        # 新生成一個響應對象,要包含動態加載的數據
        # 獲取動態加載出來的數據
        # 獲取在爬蟲文件中實例化好的瀏覽器對象
        bro = spider.bro
        bro.get(url=request.url)
        #必定要給與瀏覽器必定的緩衝加載數據的時間
        #頁面數據就是包含了動態加載出來的新聞數據對應的頁面數據
        sleep(3)
        # 包含了動態加載出來的新聞數據
        page_text = bro.page_source
        sleep(3)
        # url -> 當前響應對象對應請求的url  spider.bro.current_url,->當前打開的瀏覽器對應的url
        # body -> 響應體,源碼數據
        # request -> 返回的新的響應對象對應的請求對象
        return HtmlResponse(url=spider.bro.current_url, body=page_text, encoding='utf-8', request=request)

- . 配置文件

# 第56行,打開中間件文件的配置
DOWNLOADER_MIDDLEWARES = {
   'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,
}