Python爬蟲連載17-ItemPipeLine、中間件

一、ItemPipeLine 1.爬蟲提取出的數據存入item之後，item中保存的數據需要進一步處理，比如：清洗，去重，存儲等 2.pipeline需要process_item函數 （1）process_item​：spider提出來的item作爲參數出入，同時傳入的還有spider；此方法是必須要實現的​；必須返回一個item對象，被丟棄的item不會被之後的pipeline處理 （2）__i

>>阅读原文<<