關於scrapy只是輸出了第一層的Web的爬取結果，但是第二層沒有執行爬取問題分析

從日誌來進行分析,沒有發現錯誤信息;第一層代碼爬取正確,但是第二層web爬取,沒有被執行,代碼的編寫應該沒有問題的。 那問題是什麼呢?會不會代碼沒有被執行呢?通過添加日誌,但是對應的代碼並沒有執行,日誌也被正常輸出。是不是被過濾或者攔截了,從而代碼沒有被執行? 經過代碼審查之後,發現allowed_domains設置的問題,由於起設置不正確,導致其餘的鏈接被直接過濾了。 設置allowed_dom

>>阅读原文<<