在scrapy中，不過濾重複的請求

Scrapy提供了一個內置的重複請求過濾器，用於根據網址過濾重複的請求。能夠根據業務需求制定規則過濾重複的請求html 基於url過濾重複的請求 假設已訪問過python http:://www.abc.com/p/xyz.html?id=1234&refer=4567 我想作的是過濾請求，如：web http:://www.abc.com/p/xyz.html?id=1234&refer=567

>>阅读原文<<