爬取網站頁面與瀏覽器顯示不一致

欲爬取網頁鏈接 scrapy爬蟲爬取該頁面時的響應如下： 而此時，測試使用requests.get獲得網頁源代碼長度如下： 此網站其他頁面也出現上述問題，我按照瀏覽器的顯示情況，用xpath定位的元素節點，再響應中的源代碼中查詢不到，如下： 將響應中的源代碼另存爲.htm文件後，再用瀏覽器打開顯示如下： 網頁結構完全不一樣，最下角看到‘觸屏版’字樣，點擊‘觸屏版’後跳轉網頁與另存打開的網頁結構一致

>>阅读原文<<