使用scrapy框架出現callback指定的函數不被調用的情況

1.問題:在學習scrapy框架時,寫了一個爬蟲,在parse函數裏使用yield語句重新請求該網頁結果中包含的鏈接,但是試了好幾次parse2函數都不會被調用 2.原因:因爲自己寫了allowed_domains,但是少寫了一個r,將"xiaohuar.com"錯寫成"xiaohua.com",所以導致這些請求不會執行 3.解決方法:刪掉allowed_domains屬性,或者把域名寫正確 修改
相關文章
相關標籤/搜索