Scrapy中的Request和日誌分析

Scrapy.http.Request

自動去重，根據url的哈希值，進行去重

 

屬性

meta（dict） 　　 　　 在不一樣的請求之間傳遞數據，dict

priority（int） 　　　　 此請求的優先級（默認爲0）

dont_filter（boolean）  關閉自動去重

errback（callable） 　  在處理請求時引起任何異常時將調用的函數

flags（list） 　　　　   發送給請求的標誌，可用於日誌記錄或相似目的

 

方法

copy() 　　　　返回一個新的請求，改請求是此請求的副本

replace()    　　返回一個更新對的request

 

 

 

FormRequest

scrapy框架內置了一個FormRequest類，它擴展了基類Request，具備處理HTML表單的功能

post請求的時候，使用FormRequest將數據傳入formdata參數便可

 

 

 

日誌使用

LOG_FILE　　　　　　　　 日誌輸出文件，若是爲None，就打印在控制檯

LOG_ENABLED 　　　　　  是否啓用日誌，默認True

LOG_ENCODING    　　　   日期編碼，默認utf-8

LOG_LEVEL 　　　　　　　日誌等級，默認debug

LOG_FORMAT 　　　　　　日誌格式

LOG_DATEFORMAT　　　  日誌日期格式

LOG_STDOUT 　　　　　　日誌標準輸出，默認False，若是True全部標準輸出都將寫入日誌中

LOG_SHORT_NAMES   　　短日誌名，默認爲False，若是True將不輸出組件名

 

通常只在settings配置文件中添加