scapy爬蟲-Url去重

dont_filter=True 可以看到，當parse的第一個斷點設置在第54行時能運行成功。 接下來將斷點設置在parse_news函數中。 照理來說應該會正常輸出item_1的內容，但是爲什麼沒有辦法正確輸出呢？而且也沒有報錯啊！ 調試的時候，發現回調函數 parse_detail 沒有被調用，這可能就是被過濾掉了，查看 scrapy 的輸出日誌 offsite/filtered 會顯示過濾

>>阅读原文<<