用scrapy寫爬蟲 顯示 Filtered offsite request to 錯誤.

爬電源網公司信息，無法爬取。 查看控制檯發現報如下錯誤： DEBUG: Filtered offsite request to ‘product.dianyuan.com’: 果斷上網百度 ,找到答案 。 官方對這個的解釋，是你要request的地址和allow_domain裏面的衝突，從而被過濾掉。可以停用過濾功能。 yield Request(url, callback=self.parse_

>>阅读原文<<