scrapy自定義重試方法

Scrapy是自帶有重試的，但一般是下載出錯纔會重試，當然你可以在Middleware處來完成你的邏輯。這篇文章主要介紹的是如何在spider裏面完成重試。使用場景比如，我解析json出錯了，html中不包含我想要的數據，我要重試這個請求（request）。 我們先看看官方是如何完成重試的 scrapy/downloadermiddlewares/retry.py   可以看到非常清晰，在meta

>>阅读原文<<