Python字符串的encode與decode研究心得 亂碼問題解決方法

如下摘自：http://www.jb51.net/article/17560.htm

爲何Python使用過程當中會出現各式各樣的亂碼問題，明明是中文字符卻顯示成「\xe4\xb8\xad\xe6\x96\x87」的形式？

爲何會報錯「UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)」？本文就來研究一下這個問題。

字符串在Python內部的表示是 unicode編碼，所以，在作編碼轉換時，一般須要以unicode做爲中間編碼，即先將其餘編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另外一種編碼。 

decode的做用是將其餘編碼的字符串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉換成unicode編碼。 

encode的做用是將unicode編碼轉換成其餘編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉換成gb2312編碼。 

所以，轉碼的時候必定要先搞明白，字符串str是什麼編碼，而後decode成unicode，而後再encode成其餘編碼

代碼中字符串的默認編碼與代碼文件自己的編碼一致。 

如：s='中文'

若是是在utf8的文件中，該字符串就是utf8編碼，若是是在gb2312的文件中，則其編碼爲gb2312。這種狀況下，要進行編碼轉換，都須要先用decode方法將其轉換成unicode編碼，再使用encode方法將其轉換成其餘編碼。一般，在沒有指定特定的編碼方式時，都是使用的系統默認編碼建立的代碼文件。 

若是字符串是這樣定義：s=u'中文'

則該字符串的編碼就被指定爲unicode了，即python的內部編碼，而與代碼文件自己的編碼無關。所以，對於這種狀況作編碼轉換，只須要直接使用encode方法將其轉換成指定編碼便可。

若是一個字符串已是unicode了，再進行解碼則將出錯，所以一般要對其編碼方式是否爲unicode進行判斷：

isinstance(s, unicode)  #用來判斷是否爲unicode 

用非unicode編碼形式的str來encode會報錯 

 如何得到系統的默認編碼？ 

#!/usr/bin/env python #coding=utf-8 import sys print sys.getdefaultencoding()  

該段程序在英文WindowsXP上輸出爲：ascii 

在某些IDE中，字符串的輸出老是出現亂碼，甚至錯誤，實際上是因爲IDE的結果輸出控制檯自身不能顯示字符串的編碼，而不是程序自己的問題。 

如在UliPad中運行以下代碼：

s=u"中文" print s 

會提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是由於UliPad在英文WindowsXP上的控制檯信息輸出窗口是按照ascii編碼輸出的（英文系統的默認編碼是ascii），而上面代碼中的字符串是Unicode編碼的，因此輸出時產生了錯誤。

將最後一句改成：print s.encode('gb2312')

則能正確輸出「中文」兩個字。

若最後一句改成：print s.encode('utf8')

則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制檯信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結果。

unicode(str,'gb2312')與str.decode('gb2312')是同樣的，都是將gb2312編碼的str轉爲unicode編碼 

使用str.__class__能夠查看str的編碼形式

原理說了半天，最後來個包治百病的吧：）

#!/usr/bin/env python 
#coding=utf-8 
s="中文" 

if isinstance(s, unicode): 
#s=u"中文" 
print s.encode('gb2312') 
else: 
#s="中文" 
print s.decode('utf-8').encode('gb2312')