python2.7 的中文編碼處理，解決UnicodeEncodeError: 'ascii' codec can't encode character 問題

最近業務中須要用 Python 寫一些腳本。儘管腳本的交互只是命令行 + 日誌輸出，可是爲了讓界面友好些，我仍是決定用中文輸出日誌信息。

 

很快，我就遇到了異常：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 

爲了解決問題，我花時間去研究了一下 Python 的字符編碼處理。網上也有很多文章講 Python 的字符編碼，可是我看過一遍，以爲本身能夠講得更明白些。

 

下面先複述一下 Python 字符串的基礎，熟悉此內容的能夠跳過。

 1.引入

對應 C/C++ 的 char 和 wchar_t, Python 也有兩種字符串類型，str 與 unicode：

example1.py  

# -*- coding: utf-8 -*-  # file: example1.py 
import string # 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 這個是 unicode 的字符串 
u = u'關關雎鳩'  
  
print isinstance(s, str)      # True 
print isinstance(u, unicode)  # True 
  
print s.__class__   # <type 'str'> 
print u.__class__   # <type 'unicode'> 

 

前面的申明：# -*- coding: utf-8 -*- 代表，上面的 Python 代碼由 utf-8 編碼。

 

爲了保證輸出不會在 linux 終端上顯示亂碼，須要設置好 linux 的環境變量：export LANG=en_US.UTF-8

 

若是你和我同樣是使用 SecureCRT，請設置 Session Options/Terminal/Appearance/Character Encoding 爲 UTF-8 ，保證可以正確的解碼 linux 終端的輸出。

 

兩個 Python 字符串類型間能夠用 encode / decode 方法轉換：

# 從 str 轉換成 unicode  
print s.decode('utf-8')   # 關關雎鳩  
  
# 從 unicode 轉換成 str  
print u.encode('utf-8')   # 關關雎鳩

　　

爲何從 unicode 轉 str 是 encode，而反過來叫 decode? 

 

由於 Python 認爲 16 位的 unicode 纔是字符的惟一內碼，而你們經常使用的字符集如 gb2312，gb18030/gbk，utf-8，以及 ascii 都是字符的二進制（字節）編碼形式。把字符從 unicode 轉換成二進制編碼，固然是要 encode。

 

反過來，在 Python 中出現的 str 都是用字符集編碼的 ansi 字符串。Python 自己並不知道 str 的編碼，須要由開發者指定正確的字符集 decode。

 

(補充一句，其實 Python 是能夠知道 str 編碼的。由於咱們在代碼前面申明瞭 # -*- coding: utf-8 -*-，這代表代碼中的 str 都是用 utf-8 編碼的，我不知道 Python 爲何不這樣作。)

 

若是用錯誤的字符集來 encode/decode 會怎樣？

# 用 ascii 編碼含中文的 unicode 字符串 
u.encode('ascii')  # 錯誤，由於中文沒法用 ascii 字符集編碼 
                   # UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 
  
# 用 gbk 編碼含中文的 unicode 字符串 
u.encode('gbk')  # 正確，由於 '關關雎鳩' 能夠用中文 gbk 字符集表示 
                 # '\xb9\xd8\xb9\xd8\xf6\xc2\xf0\xaf' 
                 # 直接 print 上面的 str 會顯示亂碼，修改環境變量爲 zh_CN.GBK 能夠看到結果是對的 
  
# 用 ascii 解碼 utf-8 字符串 
s.decode('ascii')  # 錯誤，中文 utf-8 字符沒法用 ascii 解碼 
                   # UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128) 
  
# 用 gbk 解碼 utf-8 字符串 
s.decode('gbk')  # 不出錯，可是用 gbk 解碼 utf-8 字符流的結果，顯然只是亂碼 
                 # u'\u934f\u51b2\u53e7\u95c6\u5ea8\u7b2d' 

這就遇到了我在本文開頭貼出的異常：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128)

 

如今咱們知道了這是個字符串編碼異常。接下來, 爲何 Python 這麼容易出現字符串編/解碼異常？ 

 

這要提處處理 Python 編碼時容易遇到的兩個陷阱。第一個是有關字符串鏈接的：

example2.py  

# -*- coding: utf-8 -*-  # file: example2.py 
  
# 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 這個是 unicode 的字符串 
u = u'關關雎鳩' s + u  # 失敗，UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128) 

 

簡單的字符串鏈接也會出現解碼錯誤？

 

陷阱一：在進行同時包含 str 與 unicode 的運算時，Python 一概都把 str 轉換成 unicode 再運算，固然，運算結果也都是 unicode。

 

因爲 Python 事先並不知道 str 的編碼，它只能使用 sys.getdefaultencoding() 編碼去 decode。在個人印象裏，sys.getdefaultencoding() 的值老是 'ascii' ——顯然，若是須要轉換的 str 有中文，必定會出現錯誤。

 

除了字符串鏈接，% 運算的結果也是同樣的：

# 正確，全部的字符串都是 str, 不須要 decode 
"中文：%s" % s   # 中文：關關雎鳩 
  
# 失敗，至關於運行："中文：%s".decode('ascii') % u 
"中文：%s" % u  # UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128) 
  
# 正確，全部字符串都是 unicode, 不須要 decode 
u"中文：%s" % u   # 中文：關關雎鳩 
  
# 失敗，至關於運行：u"中文：%s" % s.decode('ascii') 
u"中文：%s" % s  # UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128) 

我不理解爲何 sys.getdefaultencoding() 與環境變量 $LANG 全無關係。若是 Python 用 $LANG 設置 sys.getdefaultencoding() 的值，那麼至少開發者遇到 UnicodeDecodeError 的概率會下降 50%。

 

另外，就像前面說的，我也懷疑爲何 Python 在這裏不參考 # -*- coding: utf-8 -*- ，由於 Python 在運行前老是會檢查你的代碼，這保證了代碼裏定義的 str 必定是 utf-8 。

 

對於這個問題，個人惟一建議是在代碼裏的中文字符串前寫上 u。另外，在 Python 3 已經取消了 str，讓全部的字符串都是 unicode ——這也許是個正確的決定。

 

其實，sys.getdefaultencoding() 的值是能夠用「後門」方式修改的，我不是特別推薦這個解決方案，可是仍是貼一下，由於後面有用：

 example3.py  

# -*- coding: utf-8 -*-  # file: example3.py 
import sys # 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 這個是 unicode 的字符串 
u = u'關關雎鳩'  
  
# 使得 sys.getdefaultencoding() 的值爲 'utf-8' 
reload(sys)                      # reload 才能調用 setdefaultencoding 方法 
sys.setdefaultencoding('utf-8')  # 設置 'utf-8' 
  
# 沒問題 
s + u  # u'\u5173\u5173\u96ce\u9e20\u5173\u5173\u96ce\u9e20' 
  
# 一樣沒問題 
"中文：%s" % u   # u'\u4e2d\u6587\uff1a\u5173\u5173\u96ce\u9e20' 
  
# 仍是沒問題 
u"中文：%s" % s  # u'\u4e2d\u6587\uff1a\u5173\u5173\u96ce\u9e20' 

能夠看到，問題魔術般的解決了。可是注意！ sys.setdefaultencoding() 的效果是全局的，若是你的代碼由幾個不一樣編碼的 Python 文件組成，用這種方法只是按下了葫蘆浮起了瓢，讓問題變得複雜。

 

另外一個陷阱是有關標準輸出的。

 

剛剛怎麼來着？我一直說要設置正確的 linux $LANG 環境變量。那麼，設置錯誤的 $LANG，好比 zh_CN.GBK 會怎樣？（避免終端的影響，請把 SecureCRT 也設置成相同的字符集。）

 

顯然會是亂碼，可是不是全部輸出都是亂碼。

 example4.py  

# -*- coding: utf-8 -*-  # file: example4.py 
import string # 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 這個是 unicode 的字符串 
u = u'關關雎鳩'  
  
# 輸出 str 字符串, 顯示是亂碼 
print s   # 鍏衝叧闆庨笭 
  
# 輸出 unicode 字符串，顯示正確 
print u  # 關關雎鳩 

爲何是 unicode 而不是 str 的字符顯示是正確的？ 首先咱們須要瞭解 print。與全部語言同樣，這個 Python 命令其實是把字符打印到標準輸出流 —— sys.stdout。而 Python 在這裏變了個魔術，它會按照 sys.stdout.encoding 來給 unicode 編碼，而把 str 直接輸出，扔給操做系統去解決。

 

這也是爲何要設置 linux $LANG 環境變量與 SecureCRT 一致，不然這些字符會被 SecureCRT 再轉換一次，纔會交給桌面的 Windows 系統用編碼 CP936 或者說 GBK 來顯示。

 

一般狀況，sys.stdout.encoding 的值與 linux $LANG 環境變量保持一致：

example5.py  

# -*- coding: utf-8 -*-  
# file: example5.py  
import sys  
  
# 檢查標準輸出流的編碼  
print sys.stdout.encoding  # 設置 $LANG = zh_CN.GBK，  輸出 GBK  
                           # 設置 $LANG = en_US.UTF-8，輸出 UTF-8  
  
# 這個是 unicode 的字符串  
u = u'關關雎鳩'  
  
# 輸出 unicode 字符串，顯示正確  
print u  # 關關雎鳩

　　

可是，這裏有 陷阱二：一旦你的 Python 代碼是用管道 / 子進程方式運行，sys.stdout.encoding 就會失效，讓你從新遇到 UnicodeEncodeError。

 

好比，用管道方式運行上面的 example4.py 代碼：

python -u example5.py | more UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 
None

能夠看到，第一：sys.stdout.encoding 的值變成了 None；第二：Python 在 print 時會嘗試用 ascii 去編碼 unicode.

 

因爲 ascii 字符集不能用來表示中文字符，這裏固然會編碼失敗。

 

怎麼解決這個問題？ 不知作別人是怎麼搞定的，總之我用了一個醜陋的辦法：

example6.py  

# -*- coding: utf-8 -*-  
# file: example6.py  
import os  
import sys  
import codecs  
  
# 不管如何，請用 linux 系統的當前字符集輸出：  
if sys.stdout.encoding is None:  
    enc = os.environ['LANG'].split('.')[1]  
    sys.stdout = codecs.getwriter(enc)(sys.stdout)  # 替換 sys.stdout  
  
# 這個是 unicode 的字符串  
u = u'關關雎鳩'  
  
# 輸出 unicode 字符串，顯示正確  
print u  # 關關雎鳩

　　這個方法仍然有個反作用：直接輸出中文 str 會失敗，由於 codecs 模塊的 writer 與 sys.stdout 的行爲相反，它會把全部的 str 用 sys.getdefaultencoding() 的字符集轉換成 unicode 輸出。

# 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 輸出 str 字符串, 異常 
print s   # UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128) 

顯然，sys.getdefaultencoding() 的值是 'ascii', 編碼失敗。

 

解決辦法就像 example3.py 裏說的，你要麼給 str 加上 u 申明成 unicode，要麼經過「後門」去修改 sys.getdefaultencoding()：

# 使得 sys.getdefaultencoding() 的值爲 'utf-8' 
reload(sys)                      # reload 才能調用 setdefaultencoding 方法 
sys.setdefaultencoding('utf-8')  # 設置 'utf-8' 
  
# 這個是 str 的字符串 
s = '關關雎鳩'  
  
# 輸出 str 字符串, OK 
print s   # 關關雎鳩 

總而言之，在 Python 2 下進行中文輸入輸出是個危機四伏的事，特別是在你的代碼裏混合使用 str 與 unicode 時。

 

有些模塊，例如 json，會直接返回 unicode 類型的字符串，讓你的 % 運算須要進行字符解碼而失敗。而有些會直接返回 str, 你須要知道它們的真實編碼，特別是在 print 的時候。

 

爲了不一些陷阱，上文中說過，最好的辦法就是在 Python 代碼裏永遠使用 u 定義中文字符串。另外，若是你的代碼須要用管道 / 子進程方式運行，則須要用到 example6.py 裏的技巧。

 

 2.python 自動解編碼機制致使報錯

1.stirng 和 unicode 對象合併

>>> s + u'' Traceback (most recent call last): File "<input>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
>>>

2.列表合併

 

>>> as_list = [u, s] >>> ''.join(as_list) Traceback (most recent call last): File "<input>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

3.格式化字符串

>>> '%s-%s'%(s,u) Traceback (most recent call last): File "<input>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
>>>

4.打印 unicode 對象

#test.py # -*- coding: utf-8 -*-
u = u'中文'
print u #outpt
Traceback (most recent call last): File "/Users/zhyq0826/workspace/zhyq0826/blog-code/p20161030_python_encoding/uni.py", line 3, in <module>
    print u UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

5.輸出到文件

>>> f = open('text.txt','w') >>> f.write(u) Traceback (most recent call last): File "<input>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
>>>

1，2，3 的例子中，python 自動用 ascii 把 string 解碼爲 unicode 對象而後再進行相應操做，因此都是 decode 錯誤， 4 和 5 python 自動用 ascii 把 unicode 對象編碼爲字符串而後輸出，因此都是 encode 錯誤。

只要涉及到 unicode 對象和 string 的轉換以及 unicode 對象輸出、輸入的地方可能都會觸發 python 自動進行解碼/編碼，好比寫入數據庫、寫入到文件、讀取 socket 等等。

到此，這兩個異常產生的真正緣由了基本已經清楚了: unicode 對象須要編碼爲相應的 string(字符串)才能夠存儲、傳輸、打印，字符串須要解碼爲對應的 unicode 對象才能完成 unicode 對象的各類操做，len、find 等。

string.decode('utf-8') --> unicode unicode.encode('utf-8') --> string

 

3.如何避免這些的錯誤

1.理解編碼或解碼的轉換方向

不管什麼時候發生編碼錯誤，首先要理解編碼方向，而後再針對性解決。

2.設置默認編碼爲 utf-8

在文件頭寫入

# -*- coding: utf-8 -*-

python 會查找: coding: name or coding=name，並設置文件編碼格式爲 name，此方式是告訴 python 默認編碼再也不是 ascii ，而是要使用聲明的編碼格式。

3.輸入對象儘早解碼爲 unicode，輸出對象儘早編碼爲字節流

不管什麼時候有字節流輸入，都須要儘早解碼爲 unicode 對象。任什麼時候候想要把 unicode 對象寫入到文件、數據庫、socket 等外界程序，都須要進行編碼。

4.使用 codecs 模塊來處理輸入輸出 unicode 對象

codecs 模塊能夠自動的完成解編碼的工做。

>>> import codecs >>> f = codecs.open('text.txt', 'w', 'utf-8') >>> f.write(u) >>> f.close()

 

參考：

http://in355hz.iteye.com/blog/1860787

http://sanyuesha.com/2016/11/06/python-string-unicode/