scrapy中數據採集出現亂碼問題（低級錯誤）

問題： 當使用scrapy進行數據採集時，前幾個網站都可以正常採集，突然遇到一個網站不管如何改變數據的編解碼格式都不管用。 原因： 很有可能是請求頭設置錯誤。博主我就是在setting中設置了默認的請求頭，導致數據解碼錯誤。 解決辦法： 刪除setting中的默認請求頭或者在當前的採集任務中設置特定的請求頭。博主採用的是前者 正常結果如下： 完畢！

>>阅读原文<<