使用scrapy作爬蟲遇到的一些坑：調試成功可是沒有辦法輸出想要的結果（request的回調函數不執行）（url去重）dont_filter=True

能夠看到，當parse的第一個斷點設置在第54行時能運行成功。html 接下來將斷點設置在parse_news函數中。app 照理來講應該會正常輸出item_1的內容，可是爲何沒有辦法正確輸出呢？並且也沒有報錯啊！dom 調試的時候，發現回調函數 parse_detail 沒有被調用，這可能就是被過濾掉了，查看 scrapy 的輸出日誌 offsite/filtered 會顯示過濾的數目。 scr

>>阅读原文<<