python—字符編碼

一.  字符編碼的演化                                                          python

•ASCII碼: 佔1個字節,只支持英文.編程

•GB2312:又稱國標碼,支持的是經常使用的漢字,1981年由國家標準局發佈實施,通行於大陸,新加坡等地,共7445個圖形字符.其中漢字6763.網絡

•GBK :1995年發佈,兼容GB2312.收錄漢字21003個,同時包含中日韓裏的全部漢字.編程語言

•GB18030:2000年發佈,兼容GBK和GB2312,收錄漢字27484個,包括中日韓和中國少數民族文字.post

•Shift-Jis :日本字符優化

•ks-c_5601_1987: 韓國編碼編碼

•TIS-620:泰國編碼spa

 

——————由於每一個國家都有本身的字符,因此ISO搞出了一個萬國碼,涵蓋全球全部文字和二進制的關係————————code

 

•Unicode編碼:又稱萬國碼,規定最少用2個字節表示,(2—4個字節).解決了字符和二進制之間的關係(Unicode兩個做用:1.包含了全部國家的語言 2.包含了全球全部國家編碼的映射關係)orm

•UTF-8:全稱Unicode Transformation Format是對Unicode編碼的壓縮和優化,解決存儲和網絡運輸的問題,其中ASCII碼的內容用1個字節保存,歐洲的字符用2個字節保存,東亞的字符用3個字節保存.

(Windows系統中文默認編碼是GBK,Mac OS\Linux系統默認編碼是UTF-8)

 

 

二.  字符是怎麼存到硬盤上的                                                 

1. 字符串是經過二進制0101010存到硬盤上的.

2.  不管什麼編碼在內存裏顯示字符,存到硬盤是都是2進制.   還有就是說以GBK的編碼存到硬盤上,必須再以GBK的編碼取出來.不然會亂碼.

 

 

三. 字符編碼的轉換       參考1》                                                   

 英語是國際通用語言,與此相似,Unicode是計算機裏的通用語言.  可是,中國的Windows系統上默認的是GBK , 日本默認的是Shift-Jis  ,美國用的是Unicode  等等 .  因此中國的軟件怎麼出口到美國,日本等地?

解決方法一:在出口國家的電腦上都裝上GBK編碼(明顯是不現實)

解決方案二:把本身的軟件編碼以utf-8編碼(可是按照這種方法,出口之後,取出來的仍然是中文,並非英文)

因此上面兩個方法都不行.  其實這裏用到的是Unicode的第二種做用,根據映射關係.,unicode本身知道gbk或者shift-jis在Unicode中的編碼是什麼,因此,不管無論以什麼編碼存儲的數據,只要軟件再把數據從硬盤讀到內存,轉成Unicode顯示,就能夠了. (舉個例子,中國的軟件以GBK編碼出口到美國,而後美國的電腦把GBK讀進去,可是程序上加個補丁,就能轉換成Unicode. )因爲全部的系統和編程語言默認支持Unicode,因此gbk軟件放到其餘國家的電腦上,就變成了Unicode,中文就能夠正常顯示.

 

 

字符串在Python內部的表示是unicode編碼,所以,在作編碼轉換時,一般須要以unicode做爲中間編碼,即先將其餘編碼的字符串解碼(decode)成unicode,再從unicode編碼(encode)成另外一種編碼。 

 

decode的做用是將其餘編碼的字符串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字符串str1轉換成unicode編碼。 

 

encode的做用是將unicode編碼轉換成其餘編碼的字符串,如str2.encode('gb2312'),表示將unicode編碼的字符串str2轉換成gb2312編碼

 

 

如:s='中文'

若是是在utf8的文件中,該字符串就是utf8編碼,若是是在gb2312的文件中,則其編碼爲gb2312。這種狀況下,要進行編碼轉換,都須要先用decode方法將其轉換成unicode編碼,再使用encode方法將其轉換成其餘編碼。一般,在沒有指定特定的編碼方式時,都是使用的系統默認編碼建立的代碼文件。 

若是字符串是這樣定義:s=u'中文'

則該字符串的編碼就被指定爲unicode了,即python的內部編碼,而與代碼文件自己的編碼無關。所以,對於這種狀況作編碼轉換,只須要直接使用encode方法將其轉換成指定編碼便可。

                                                                                                                                                                                                                                                                                                                                                                              

若是一個字符串已是unicode了,再進行解碼則將出錯,所以一般要對其編碼方式是否爲unicode進行判斷:

isinstance(s, unicode)  #用來判斷是否爲unicode 

用非unicode編碼形式的str來encode會報錯 

                                                                                                                                                                                                                                                                                                                                                                              

如何得到系統的默認編碼? 

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()  

該段程序在英文WindowsXP上輸出爲:ascii 

                                                                                                                                                                                                                                                                                                                                                                              

在某些IDE中,字符串的輸出老是出現亂碼,甚至錯誤,實際上是因爲IDE的結果輸出控制檯自身不能顯示字符串的編碼,而不是程序自己的問題。 

如在UliPad中運行以下代碼:

s=u"中文"
print s 

會提示:UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是由於UliPad在英文WindowsXP上的控制檯信息輸出窗口是按照ascii編碼輸出的(英文系統的默認編碼是ascii),而上面代碼中的字符串是Unicode編碼的,因此輸出時產生了錯誤。

將最後一句改成:print s.encode('gb2312')

則能正確輸出「中文」兩個字。

若最後一句改成:print s.encode('utf8')

則輸出:\xe4\xb8\xad\xe6\x96\x87,這是控制檯信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結果。

                                                                                                                                                                                                                                                                                                                                                                            

unicode(str,'gb2312')與str.decode('gb2312')是同樣的,都是將gb2312編碼的str轉爲unicode編碼 

使用str.__class__能夠查看str的編碼形式

                                                                                           

                                                                                                                                                                                                                                                                                                                                                                             

s="中文"

if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')                                                                                                                                                                                                                                                                                   

四.python3代碼執行過程                                                      

根據上述所說字符編碼的轉化,實際代碼中python3的執行代碼過程是什麼樣的?

1.解釋器找到代碼文件,把代碼字符串按文件頭定義的編碼加載到內存,轉成Unicode

2.把代碼字符串按照語法規則進行解釋

3.全部的變量字符都會以Unicode編碼聲明

 

 五. 字節與字符                                                             

 

name = 'alex' name_bytes = name.encode(utf-8)#字節
name_str = name_bytes.decode(utf-8)#字符串

 

 

 

 

 

參考1:www.unicode.org

相關文章
相關標籤/搜索