python中的編解碼小結

在用python27寫文件或者上傳文件時遇到這樣一個問題：。在網上搜了下說加入如下三行代碼能夠解決：

import sys 
reload(sys) 
sys.setdefaultencoding('utf-8')

試了一下果真解決問題。

總結一下原理：

Python 裏面的編碼和解碼也就是 unicode 和 str 這兩種形式的相互轉化。編碼是 unicode -> str，相反的，解碼就是 str -> unicode。剩下的問題就是肯定什麼時候須要進行編碼或者解碼了.關於文件開頭的"編碼指示"，也就是 # -*- coding: -*- 這個語句。Python 默認腳本文件都是 UTF-8 編碼的，當文件中有非 UTF-8 編碼範圍內的字符的時候就要使用"編碼指示"來修正. 關於 sys.defaultencoding，這個在解碼沒有明確指明解碼方式的時候使用。好比我有以下代碼：

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
s = '中文'  # 注意這裏的 str 是 str 類型的，而不是 unicode 
s.encode('gb18030')

這句代碼將 s 從新編碼爲 gb18030 的格式，即進行 unicode -> str 的轉換。由於 s 自己就是 str 類型的，所以 Python 會自動的先將 s 解碼爲 unicode ，而後再編碼成 gb18030。由於解碼是python自動進行的，咱們沒有指明解碼方式，python 就會使用 sys.defaultencoding 指明的方式來解碼。不少狀況下 sys.defaultencoding 是 ANSCII，若是 s 不是這個類型就會出錯。拿上面的狀況來講，個人 sys.defaultencoding 是 anscii，而 s 的編碼方式和文件的編碼方式一致，是 utf8 的，因此出錯了: UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128) 。
對於這種狀況，咱們有兩種方法來改正錯誤： 
一是明確的指示出 s 的編碼方式：

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 

s = '中文' 
s.decode('utf-8').encode('gb18030')

二是更改 sys.defaultencoding 爲文件的編碼方式

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 

import sys 
reload(sys) # Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，咱們須要從新載入 
sys.setdefaultencoding('utf-8') 

str = '中文' 
str.encode('gb18030')

可是！用sys.setdefaultencoding('utf-8')這種方式有時候會遇到很奇怪的bug。問題不在描述了，都是血淚。

因此再遇到UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-13: ordinal not in range(128)時，一概明確的指示出編碼方式。

好比在讀寫文件時，須要先將讀出的文本decode成須要的文本，寫文件時，須要encode成字節再寫入。

file_object = open(read_file, 'r')
conf_object = open(write_file, 'w') 
try:
    all_text = file_object.read()
    all_text = all_text.decode('utf-8')
    all_text = all_text.replace('aa', 'bb')
    all_text = all_text.encode('utf-8')
    conf_object.write(all_text)
except:
    print "read or write failed"

幾個建議：

• 當取回來的數據與你當前腳本中聲明的編碼不一致時就要作編碼轉換。
• 全部 text string 都應該是 unicode 類型，而不是 str，若是你在操做 text，而類型倒是 str，那就是在製造 bug。
• 在須要轉換的時候，顯式轉換。從字節解碼成文本，用 var.decode(encoding)，從文本編碼成字節，用 var.encode(encoding)。
• 從外部讀取數據時，默認它是字節，而後 decode 成須要的文本；一樣的，當須要向外部發送文本時，encode 成字節再發送