對於scrapy框架的一些補充

Item Pipeline 當 Item 在 Spider 中被收集之後，它將會被傳遞到 Item Pipeline，這些 Item Pipeline 組件按定義的順序處理 Item。每個 Item Pipeline 都是實現了簡單方法的 Python 類，比如決定此 Item 是丟棄而存儲。以下是 item pipeline 的一些典型應用： 驗證爬取的數據(檢查 item 包含某些字段，比如說

>>阅读原文<<