記錄一次scrapy的crawlspider 詳情頁自動路徑拼接問題

我在運行scrapy  crawlspider的時候，發現首頁200請求成功，但是詳情頁返回404，於是，進入網站，查看詳情頁鏈接是什麼樣子 這是列表頁 直接鼠標右鍵，新頁面打開，發現網頁正常，鏈接如下：   這下知道原因了，是crawlspider的路徑拼接有問題， 正常打開的鏈接是https://www.xxx.com/xwzx/dzyw/202005/t2020058.html 而crawl

>>阅读原文<<