Scrapy爬蟲不同的Request請求,選擇不同的中間件進行過濾。scrapy指定某一個請求使用selenium模擬加載。

問題描述:Scrapy爬蟲裏,不同的Request請求,根據需求來選擇不同的中間件進行過濾。 舉例:scrapy爬蟲時,有些請求需要藉助selenium,但是其他請求不需要用selenium,那如何讓某一個單獨的請求使用selenium這個中間件? 解決方法:簡單講,用好meta這個參數進行傳參。 第一步:先準備好一個selenium中間件 第二步:全局開啓selenium中間件 第三步:爬蟲文件
相關文章
相關標籤/搜索