Python的ASCII, GB2312, Unicode , UTF-8 相互轉換

ASCII 是一種字符集,包括大小寫的英文字母、數字、控制字符等,它用一個字節表示,範圍是 0-127 Unicode分爲UTF-8和UTF-16。
UTF-8變長度的,最多 6 個字節,小於 127 的字符用一個字節表示,與 ASCII 字符集的結果同樣,ASCII 編碼下的英語文本不須要修改就能夠看成 UTF-8 編碼進行處理。 
Python 從 2.2 開始支持 Unicode ,函數 decode( char_set )能夠實現 其它編碼到 Unicode 的轉換,函數 encode( char_set )實現 Unicode 到其它編碼方式的轉換。 
好比 python

("你好").decode( "GB2312") 

將獲得 函數

u'\u4f60\u597d',
即 "你"和「好"的 Unicode 碼分別是 0x4f60 和 0x597d 
再用 測試

(u'\u4f60\u597d').encode("UTF-8") 

  

將獲得 編碼

'\xe4\xbd\xa0\xe5\xa5\xbd'
它是 「你好」的UTF-8編碼結果。 
python中使用 unicode的關鍵:unicode是一個類,函數unicode(str,"utf8")從utf8編碼(固然也能夠是別的編碼)的字符串str生成 unicode類的對象,而函數unc.encode("utf8")將unicode類的對象unc轉換爲(編碼爲)utf8編碼(固然也能夠是別的編碼)的字符串。因而,編寫unicode相關程序,須要作的事情是 * 獲取數據(字符串)時,用unicode(str, "utf8")生成unicode對象 * 在程序中僅使用unicode對象,對程序中出現的字符串常量都以u"字符串"的形式書寫 * 輸出時,可將unicode對象轉換爲任意編碼輸出,使用str.encode("some_encoding") spa

>>> unicode("你好", "utf8")   
       u'\u4f60\u597d'   
  
>>> x = _   
  
>>> type(x)   
  
>>> type("你好")   
  
>>> x.encode("utf8")   
       '\xe4\xbd\xa0\xe5\xa5\xbd'   
  
>>> x.encode("gbk")   
       '\xc4\xe3\xba\xc3'   
  
>>> x.encode("gb2312")   
       '\xc4\xe3\xba\xc3'   
  
>>> print x   
       你好   
  
>>> print x.encode("utf8")   
       你好   
  
>>> print x.encode("gbk")   
       ???   

  

以上是測試結果(Ubuntu 6.06,locale爲utf8),注意type(x)和type("你好")的區別。從編碼上能夠看出utf8編碼與gbk不一樣。在utf8的 locale設置下,打印x按該環境變量編碼(我猜我猜我猜猜猜),而打印x.encode("gbk")則是亂碼。code

相關文章
相關標籤/搜索