Python2.7UTF-8致使中文亂碼問題

Python2.7UTF-8致使中文亂碼問題解決辦法

 

file = open('data.txt','r')

lines = file.readlines()

for line in lines[0:1]:
    print line,
    print line.split()

運行後

0.0200197   1.97691e-005

['0\x00.\x000\x002\x000\x000\x001\x009\x007\x00', '\x001\x00.\x009\x007\x006\x009\x00

這是由於在UTF-16，每一個字符佔用兩個字節。*若是你的字符都是ASCII碼，這意味着UTF-16編碼看起來像編碼一個額外的「\\設備後，每一個字符的ASCII碼。
要解決這個問題，只需解碼數據：

print line.decode('utf-16-le').split()

 

或者用IO或編解碼器模塊在文件級執行相同的操做：

file = io.open('data.txt','r', encoding='utf-16-le')

這是一種簡單化：每一個BMP字符佔用兩個字節；每一個非BMP字符變成代理項對，每兩個代理人以兩字節。

參考：https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format