爬蟲（十四）：scrapy下載中間件

下載器中間件是介於Scrapy的request/response處理的鉤子框架，是用於全局修改Scrapy request和response的一個輕量、底層的系統。

激活Downloader Middleware

要激活下載器中間件組件，將其加入到 DOWNLOADER_MIDDLEWARES 設置中。 該設置是一個字典(dict)，鍵爲中間件類的路徑，值爲其中間件的順序(order)。像下面這樣

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

DOWNLOADER_MIDDLEWARES 設置會與Scrapy定義的 DOWNLOADER_MIDDLEWARES_BASE 設置合併(但不是覆蓋)， 然後根據順序(order)進行排序，最後獲得啓用中間件的有序列表: 第一個中間件是最靠近引擎的，最後一箇中間件是最靠近下載器的。

關於如何分配中間件的順序settings裏面的Scrapy默認BASE設置 ，然後根據你想要放置中間件的位置選擇一個值。 因爲每一箇中間件執行不一樣的動做，你的中間件可能會依賴於以前(或者以後)執行的中間件，所以順序是很重要的。

若是你想禁止內置的(在 DOWNLOADER_MIDDLEWARES_BASE 中設置並默認啓用的)中間件， 你必須在項目的 DOWNLOADER_MIDDLEWARES 設置中定義該中間件，並將其值賦爲 None 。 例如，若是您想要關閉user-agent中間件:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, }

自定義Downloader Middleware

若是你想自定義一個屬於你的下載器中間件，只須要編寫一個下載器中間件類，繼承自scrapy.downloadermiddlewares.DownloaderMiddleware,然後在裏面重寫如下的幾個方法。

• process_request(request, spider)

  當每一個request經過下載中間件時，該方法被調用。

  process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request 對象或raise IgnoreRequest 。

  • 若是其返回 None ，Scrapy將繼續處理該request，執行其餘的中間件的相應方法，直到合適的下載器處理函數(download handler)被調用， 該request被執行(其response被下載)。

  • 若是其返回 Response 對象，Scrapy將不會調用 任何 其餘的 process_request() 或 process_exception() 方法，或相應地下載函數； 其將返回該response。 已安裝的中間件的 process_response() 方法則會在每一個response返回時被調用。

  • 若是其返回 Request 對象，Scrapy則中止調用 process_request方法並從新調度返回的request。當新返回的request被執行後， 相應地中間件鏈將會根據下載的response被調用。

  • 若是其raise一個 IgnoreRequest 異常，則安裝的下載中間件的 process_exception() 方法會被調用。若是沒有任何一個方法處理該異常， 則request的errback(Request.errback)方法會被調用。若是沒有代碼處理拋出的異常， 則該異常被忽略且不記錄(不一樣於其餘異常那樣)。

  參數:
  request(Request 對象)–處理的request
  spider(Spider 對象)–該request對應的spider

• process_response(request, response, spider)

  process_request() 必須返回如下之一: 返回一個 Response 對象、 返回一個 Request 對象或raise一個 IgnoreRequest 異常。

  • 若是其返回一個 Response (能夠與傳入的response相同，也能夠是全新的對象)， 該response會被在鏈中的其餘中間件的 process_response() 方法處理。
  • 若是其返回一個 Request 對象，則中間件鏈中止， 返回的request會被從新調度下載。處理相似於 process_request() 返回request所作的那樣。
  • 若是其拋出一個 IgnoreRequest 異常，則調用request的errback(Request.errback)。 若是沒有代碼處理拋出的異常，則該異常被忽略且不記錄(不一樣於其餘異常那樣)。

  參數:
  request (Request 對象) – response所對應的request
  response (Response 對象) – 被處理的response
  spider (Spider 對象) – response所對應的spider

• process_exception(request, exception, spider)

  當下載處理器(download handler)或 process_request() (下載中間件)拋出異常(包括IgnoreRequest異常)時，Scrapy調用 process_exception() 。

  process_exception() 應該返回如下之一: 返回 None 、 一個 Response 對象、或者一個 Request 對象。

  • 若是其返回 None ，Scrapy將會繼續處理該異常，接着調用已安裝的其餘中間件的 process_exception() 方法，直到全部中間件都被調用完畢，則調用默認的異常處理。
  • 若是其返回一個 Response 對象，則已安裝的中間件鏈的 process_response() 方法被調用。Scrapy將不會調用任何其餘中間件的 process_exception() 方法。
  • 若是其返回一個 Request 對象， 則返回的request將會被從新調用下載。這將中止中間件的 process_exception() 方法執行，就如返回一個response的那樣。

  參數:
  request (是 Request 對象) – 產生異常的request
  exception (Exception 對象) – 拋出的異常
  spider (Spider 對象) – request對應的spider

內置Downloader Middleware介紹

• CookiesMiddleware

  該中間件使得爬取須要cookie(例如使用session)的網站成爲了可能。 其追蹤了web server發送的cookie，並在以後的request中發送回去， 就如瀏覽器所作的那樣。

  如下設置能夠用來配置cookie中間件:
  COOKIES_ENABLED默認爲True
  COOKIES_DEBUG默認爲False

  Scrapy經過使用 cookiejar Request meta key來支持單spider追蹤多cookie session。 默認狀況下其使用一個cookie jar(session)，不過咱們能夠傳遞一個標示符來使用多個。
  好比：

  for i, url in enumerate(urls): yield scrapy.Request("http://www.example.com", meta={'cookiejar': i}, callback=self.parse_page)

  須要注意的是 cookiejar meta key不是」黏性的(sticky)」。 咱們須要在以後的request請求中接着傳遞。
  好比：

  def parse_page(self, response): # do some processing return scrapy.Request("http://www.example.com/otherpage", meta={'cookiejar': response.meta['cookiejar']}, callback=self.parse_other_page)

• DefaultHeadersMiddleware

  該中間件設置 DEFAULT_REQUEST_HEADERS 指定的默認request header。

• DownloadTimeoutMiddleware

  該中間件設置 DOWNLOAD_TIMEOUT 指定的request下載超時時間.

• HttpAuthMiddleware

  該中間件完成某些使用 Basic access authentication (或者叫HTTP認證)的spider生成的請求的認證過程。

• HttpCacheMiddleware

  該中間件爲全部HTTP request及response提供了底層(low-level)緩存支持。 其由cache存儲後端及cache策略組成。

• HttpCompressionMiddleware

  該中間件提供了對壓縮(gzip, deflate)數據的支持

• ChunkedTransferMiddleware

  該中間件添加了對 chunked transfer encoding 的支持。

• HttpProxyMiddleware

  該中間件提供了對request設置HTTP代理的支持。您能夠經過在 Request 對象中設置 proxy 元數據來開啓代理。

• RedirectMiddleware

  該中間件根據response的狀態處理重定向的request。經過該中間件的(被重定向的)request的url能夠經過 Request.meta 的 redirect_urls 鍵找到。

• MetaRefreshMiddleware

  該中間件根據meta-refresh html標籤處理request重定向。

• RetryMiddleware

  該中間件將重試可能因爲臨時的問題，例如鏈接超時或者HTTP 500錯誤致使失敗的頁面。
  爬取進程會收集失敗的頁面並在最後，spider爬取完全部正常(不失敗)的頁面後從新調度。 一旦沒有更多須要重試的失敗頁面，該中間件將會發送一個信號(retry_complete)， 其餘插件能夠監聽該信號。

• RobotsTxtMiddleware

  該中間件過濾全部robots.txt eclusion standard中禁止的request。
  確認該中間件及 ROBOTSTXT_OBEY 設置被啓用以確保Scrapy尊重robots.txt。

• UserAgentMiddleware

  用於覆蓋spider的默認user agent的中間件。
  要使得spider能覆蓋默認的user agent，其 user_agent 屬性必須被設置。

• AjaxCrawlMiddleware

  根據meta-fragment html標籤查找 ‘AJAX可爬取’ 頁面的中間件。