使用scrapy做爬蟲遇到的一些坑：調試成功但是沒有辦法輸出想要的結果（request的回調函數不執行）（url去重）dont_filter=True

可以看到，當parse的第一個斷點設置在第54行時能運行成功。 接下來將斷點設置在parse_news函數中。 照理來說應該會正常輸出item_1的內容，但是爲什麼沒有辦法正確輸出呢？而且也沒有報錯啊！ 調試的時候，發現回調函數 parse_detail 沒有被調用，這可能就是被過濾掉了，查看 scrapy 的輸出日誌 offsite/filtered 會顯示過濾的數目。 因爲被去重過濾了，所以才

>>阅读原文<<