scrapy爬取頁面不完全的解決辦法

最近在使用scrapy來製作爬蟲以爬取一些網站上的信息，但是卻出現了一個很奇怪的問題，即在網頁中打開待爬取的URL，並在網頁源代碼中定位了某些待爬取的元素，但是當使用scrapy爬取數據時，卻發現報錯了，而錯誤竟然是所爬取到的網頁中並沒有我在瀏覽器中看到的元素，即對於同一個URL，爬取到的頁面和我在瀏覽器中打開所看到的頁面不一樣！ 在反覆確認CSS類選擇器沒寫錯，爬蟲所爬取的URL沒有被重定向到另

>>阅读原文<<