python中文亂碼

python中文亂碼的問題

http://www.2cto.com/kf/201306/223110.html

在運行這樣相似的代碼：

#!/usr/bin/env python
s="中文"
print s

最近常常遇到這樣的問題：

問題一：SyntaxError: Non-ASCII character '\xe4' in file E:\coding\python\Untitled 6.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

問題二：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 108: ordinal not in range(128)

問題三：UnicodeEncodeError: 'gb2312' codec can't encode character u'\u2014' in position 72366: illegal multibyte sequence

這些都是跟字符編碼有關的問題，很鬱悶，中文老是弄不出來，找了不少方案，這裏有些是我前幾天找到的一些方案，拿出來給你們分享一下哈

　　字符串在Python內部的表示是unicode 編碼，所以，在作編碼轉換時，一般須要以unicode做爲中間編碼，即先將其餘編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另外一種編碼。
decode的做用是將其餘編碼的字符串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉換成unicode編碼。

encode的做用是將unicode編碼轉換成其餘編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉換成gb2312編碼。

在某些IDE中，字符串的輸出老是出現亂碼，甚至錯誤，實際上是因爲IDE的結果輸出控制檯自身不能顯示字符串的編碼，而不是程序自己的問題。

如在UliPad中運行以下代碼：

s=u"中文"
print s

會提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是由於UliPad在英文WindowsXP 上的控制檯信息輸出窗口是按照ascii編碼輸出的（英文系統的默認編碼是ascii），而上面代碼中的字符串是Unicode編碼的，因此輸出時產生了錯誤。

將最後一句改成：print s.encode('gb2312')
則能正確輸出「中文」兩個字。
若最後一句改成：print s.encode('utf8')
則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制檯信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結果。

下面代碼可能比較通用一些，以下:

[python] view plaincopyprint?
#!/usr/bin/env python   
#coding=utf-8   
s="中文"  
if isinstance(s, unicode):  
    #s=u"中文"   
    print s.encode('gb2312')  
else:  
    #s="中文"   
    print s.decode('utf-8').encode('gb2312') 

#!/usr/bin/env python
#coding=utf-8
s="中文"
if isinstance(s, unicode):
 #s=u"中文"
 print s.encode('gb2312')
else:
 #s="中文"
 print s.decode('utf-8').encode('gb2312')

看看下面一段代碼：

[python] view plaincopyprint?
#!/usr/bin/env python   
#coding=utf-8   
#python version:2.7.4  
#system:windows xp  
 
import httplib2 
def getPageContent(url): 
    '''''
    使用httplib2用編程的方式根據url獲取網頁內容
    將bytes形式的內容轉換成utf-8的字符串
    ''' 
    #使用ie9的user-agent，若是不設置user-agent將會獲得403禁止訪問  
    headers={'user-agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)', 
            'cache-control':'no-cache'} 
    if url: 
         response,content = httplib2.Http().request(url,headers=headers) 
          
         if response.status == 200 : 
            return content 
 
import sys   
reload(sys)   
sys.setdefaultencoding('utf-8')   #修改默認編碼方式，默認爲ascci  
print sys.getdefaultencoding() 
 
content = getPageContent("http://www.oschina.net/") 
print content.decode('utf-8').encode('gb2312') 

#!/usr/bin/env python
#coding=utf-8
#python version:2.7.4
#system:windows xp

import httplib2
def getPageContent(url):
    '''
    使用httplib2用編程的方式根據url獲取網頁內容
    將bytes形式的內容轉換成utf-8的字符串
    '''
    #使用ie9的user-agent，若是不設置user-agent將會獲得403禁止訪問
    headers={'user-agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)',
            'cache-control':'no-cache'}
    if url:
         response,content = httplib2.Http().request(url,headers=headers)
        
         if response.status == 200 :
            return content

import sys 
reload(sys) 
sys.setdefaultencoding('utf-8')   #修改默認編碼方式，默認爲ascci
print sys.getdefaultencoding()

content = getPageContent("http://www.oschina.net/")
print content.decode('utf-8').encode('gb2312')

上面的代碼的意思：向www.oschina.net網站請求他的主頁，（若是直接是utf-8編碼，不能輸出中文）想將編碼方式爲utf-8轉向gd2312,出現問題三

當我把它將print content.decode('utf-8').encode('gb2312')改爲　　print content.decode('utf-8').encode('gb2312', ‘ignore’)時，ＯＫ了，能夠顯示中文了，但不敢肯定是否爲所有，貌似只有部分吧，有些不能用gb2312編碼

然而，當我把網站換成 www.soso.com時，不用轉爲gb2312,用utf-8便可正常顯示中文

 

 

總結一下：

　　向文件直接輸出ss會拋出一樣的異常。在處理unicode中文字符串的時候，必須首先對它調用encode函數，轉換成其它編碼輸出。這一點對各個環境都同樣。在Python中，「str」對象就是一個字節數組，至於裏面的內容是否是一個合法的字符串，以及這個字符串採用什麼編碼（gbk, utf-8, unicode）都不重要。這些內容須要用戶本身記錄和判斷。這些的限制也一樣適用於「unicode」對象。要記住「unicode」對象中的內容可絕對不必定就是合法的unicode字符串，咱們很快就會看到這種狀況。在windows的控制檯上，支持gbk編碼的str對象和unicode編碼的unicode對象。

 

 

python 中文亂碼問題深刻分析

http://www.jb51.net/article/26543.htm

在本文中，以'哈'來解釋做示例解釋全部的問題，「哈」的各類編碼以下： 
1. UNICODE (UTF8-16)，C854； 
2． UTF-8，E59388； 
3． GBK，B9FE。 
1、python中的str和unicode 
一直以來，python中的中文編碼就是一個極爲頭大的問題，常常拋出編碼轉換的異常，python中的str和unicode究竟是一個什麼東西呢？ 
在python中提到unicode，通常指的是unicode對象，例如'哈哈'的unicode對象爲 
u'\u54c8\u54c8' 
而str，是一個字節數組，這個字節數組表示的是對unicode對象編碼(能夠是utf-八、gbk、cp93六、GB2312)後的存儲的格式。這裏它僅僅是一個字節流，沒有其它的含義，若是你想使這個字節流顯示的內容有意義，就必須用正確的編碼格式，解碼顯示。 
例如：

對於unicode對象哈哈進行編碼，編碼成一個utf-8編碼的str－s_utf8,s_utf8就是是一個字節數組，存放的就是'\xe5\x93\x88\xe5\x93\x88'，可是這僅僅是一個字節數組，若是你想將它經過print語句輸出成哈哈，那你就失望了，爲何呢？

由於print語句它的實現是將要輸出的內容傳送了操做系統，操做系統會根據系統的編碼對輸入的字節流進行編碼，這就解釋了爲何utf-8格式的字符串「哈哈」，輸出的是「鍝堝搱」，由於 '\xe5\x93\x88\xe5\x93\x88'用GB2312去解釋，其顯示的出來就是「鍝堝搱」。這裏再強調一下，str記錄的是字節數組，只是某種編碼的存儲格式，至於輸出到文件或是打印出來是什麼格式，徹底取決於其解碼的編碼將它解碼成什麼樣子。

這裏再對print進行一點補充說明：當將一個unicode對象傳給print時，在內部會將該unicode對象進行一次轉換，轉換成本地的默認編碼（這僅是我的猜想）

2、str和unicode對象的轉換

str和unicode對象的轉換，經過encode和decode實現，具體使用以下：

將GBK'哈哈'轉換成unicode，而後再轉換成UTF8

3、Setdefaultencoding

如上圖的演示代碼所示：

當把s(gbk字符串)直接編碼成utf-8的時候，將拋出異常，可是經過調用以下代碼：

import sys

reload(sys)

sys.setdefaultencoding('gbk')

後就能夠轉換成功，爲何呢？在python中str和unicode在編碼和解碼過程當中，若是將一個str直接編碼成另外一種編碼，會先把str解碼成unicode，採用的編碼爲默認編碼，通常默認編碼是anscii，因此在上面示例代碼中第一次轉換的時候會出錯，當設定當前默認編碼爲'gbk'後，就不會出錯了。

至於reload(sys)是由於Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，咱們須要從新載入。

4、操做不一樣文件的編碼格式的文件

創建一個文件test.txt，文件格式用ANSI，內容爲:

abc中文

用python來讀取

# coding=gbk

print open("Test.txt").read()

結果：abc中文

把文件格式改爲UTF-8：

結果：abc涓枃

顯然，這裏須要解碼：

# coding=gbk

import codecs

print open("Test.txt").read().decode("utf-8")

結果：abc中文

上面的test.txt我是用Editplus來編輯的，但當我用Windows自帶的記事本編輯並存成UTF-8格式時，

運行時報錯：

Traceback (most recent call last):

File "ChineseTest.py", line 3, in 

print open("Test.txt").read().decode("utf-8")

UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原來，某些軟件，如notepad，在保存一個以UTF-8編碼的文件時，會在文件開始的地方插入三個不可見的字符（0xEF 0xBB 0xBF，即BOM）。

所以咱們在讀取時須要本身去掉這些字符，python中的codecs module定義了這個常量：

# coding=gbk

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

data = data[3:]

print data.decode("utf-8")

結果：abc中文

5、文件的編碼格式和編碼聲明的做用

源文件的編碼格式對字符串的聲明有什麼做用呢？這個問題困擾一直困擾了我很久，如今終於有點眉目了，文件的編碼格式決定了在該源文件中聲明的字符串的編碼格式，例如：

str = '哈哈'

print repr(str)

a.若是文件格式爲utf-8，則str的值爲：'\xe5\x93\x88\xe5\x93\x88'（哈哈的utf-8編碼）

b.若是文件格式爲gbk，則str的值爲：'\xb9\xfe\xb9\xfe'（哈哈的gbk編碼）

在第一節已經說過，python中的字符串，只是一個字節數組，因此當把a狀況的str輸出到gbk編碼的控制檯時，就將顯示爲亂碼：鍝堝搱；而當把b狀況下的str輸出utf-8編碼的控制檯時，也將顯示亂碼的問題，是什麼也沒有，也許'\xb9\xfe\xb9\xfe'用utf-8解碼顯示，就是空白吧。>_<

說完文件格式，如今來談談編碼聲明的做用吧，每一個文件在最上面的地方，都會用# coding=gbk 相似的語句聲明一下編碼，可是這個聲明到底有什麼用呢？到止前爲止，我以爲它的做用也就是三個：

 

1. 聲明源文件中將出現非ascii編碼，一般也就是中文；
2. 在高級的IDE中，IDE會將你的文件格式保存成你指定編碼格式。
3. 決定源碼中相似於u'哈'這類聲明的將‘哈'解碼成unicode所用的編碼格式，也是一個比較容易讓人迷惑的地方，看示例：

#coding:gbk

 

ss = u'哈哈'

print repr(ss)

print 'ss:%s' % ss

將這個些代碼保存成一個utf-8文本，運行，你認爲會輸出什麼呢？你們第一感受確定輸出的確定是：

u'\u54c8\u54c8'

ss:哈哈

可是實際上輸出是：

u'\u935d\u581d\u6431'

ss:鍝堝搱

爲何會這樣，這時候，就是編碼聲明在做怪了，在運行ss = u'哈哈'的時候，整個過程能夠分爲如下幾步：

1) 獲取'哈哈'的編碼：由文件編碼格式肯定，爲'\xe5\x93\x88\xe5\x93\x88'（哈哈的utf-8編碼形式）

2) 轉成 unicode編碼的時候，在這個轉換的過程當中，對於'\xe5\x93\x88\xe5\x93\x88'的解碼，不是用utf-8解碼，而是用聲明編碼處指定的編碼GBK，將'\xe5\x93\x88\xe5\x93\x88'按GBK解碼，獲得就是''鍝堝搱''，這三個字的unicode編碼就是u'\u935d\u581d\u6431'，至止能夠解釋爲何print repr(ss)輸出的是u'\u935d\u581d\u6431' 了。

好了，這裏有點繞，咱們來分析下一個示例：

#-*- coding:utf-8 -*-

ss = u'哈哈'

print repr(ss)

print 'ss:%s' % ss

將這個示例此次保存成GBK編碼形式，運行結果，居然是：

UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 0: unexpected code byte

這裏爲何會有utf8解碼錯誤呢？想一想上個示例也明白了，轉換第一步，由於文件編碼是GBK，獲得的是'哈哈'編碼是GBK的編碼'\xb9\xfe\xb9\xfe'，當進行第二步，轉換成 unicode的時候，會用UTF8對'\xb9\xfe\xb9\xfe'進行解碼，而你們查utf-8的編碼表會發現，utf8編碼表（關於UTF- 8解釋可參見字符編碼筆記：ASCII、UTF-八、UNICODE）中根本不存在，因此會報上述錯誤。