scrapy_redis中以set存入url和附帶內容-寫給本身看爬蟲系列7

前言 需求：初始化url除了url外還有其餘字段信息須要附帶上，以便item輸出時繼承這些信息 思路：改寫scrapy_redis中的next_request類，和改寫將url存入redis的腳本。將須要附帶的信息和url在next_request處理中進行分離，將附帶的信息放入meta中從而實現繼承信息。redis spider中的 next_requests scrapy_redis經過nex

>>阅读原文<<