Python網絡爬蟲出現亂碼的緣由

關於爬蟲亂碼有不少各式各樣的問題，這裏不只是中文亂碼，編碼轉換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理，由於解決方式是一致的，故在此統一說明。javascript 網絡爬蟲出現亂碼的緣由 源網頁編碼和爬取下來後的編碼格式不一致。html 如源網頁爲gbk編碼的字節流，而咱們抓取下後程序直接使用utf-8進行編碼並輸出到存儲文件中，這必然會引發亂碼 即當源網頁編碼和抓取下來後程序直接使用

>>阅读原文<<