Python的ASCII, GB2312, Unicode , UTF-8

[轉]Python的ASCII, GB2312, Unicode , UTF-8

2007-12-13 10:50:47| 分類： Python實用軟件編 |字號 訂閱 ASCII 是一種字符集,包括大小寫的英文字母、數字、控制字符等，它用一個字節表示，範圍是 0-127

Unicode分爲UTF-8和UTF-16。UTF-8變長度的，最多 6 個字節，小於 127 的字符用一個字節表示，與 ASCII 字符集的結果同樣，ASCII 編碼下的英語文本不須要修改就能夠看成 UTF-8 編碼進行處理。

Python 從 2.2 開始支持 Unicode ，函數 decode( char_set )能夠實現 其它編碼到 Unicode 的轉換，函數 encode( char_set )實現 Unicode 到其它編碼方式的轉換。

好比 ("你好").decode( "GB2312") 將獲得 u'\u4f60\u597d'，即 "你"和「好"的 Unicode 碼分別是 0x4f60 和 0x597d 再用 (u'\u4f60\u597d').encode("UTF-8") 將獲得 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是 「你好」的UTF-8編碼結果。

python中使用 unicode的關鍵：unicode是一個類，函數unicode(str,"utf8")從utf8編碼（固然也能夠是別的編碼）的字符串str生成 unicode類的對象，而函數unc.encode("utf8")將unicode類的對象unc轉換爲（編碼爲）utf8編碼（固然也能夠是別的編碼）的字符串。因而，編寫unicode相關程序，須要作的事情是

* 獲取數據（字符串）時，用unicode(str, "utf8")生成unicode對象
* 在程序中僅使用unicode對象，對程序中出現的字符串常量都以u"字符串"的形式書寫
* 輸出時，可將unicode對象轉換爲任意編碼輸出，使用str.encode("some_encoding")

unicode("你好", "utf8") u'\u4f60\u597d' x = _ type(x)

type("你好")

x.encode("utf8") '\xe4\xbd\xa0\xe5\xa5\xbd' x.encode("gbk") '\xc4\xe3\xba\xc3' x.encode("gb2312") '\xc4\xe3\xba\xc3' print x 你好 print x.encode("utf8") 你好 print x.encode("gbk") ???

以上是測試結果（Ubuntu 6.06，locale爲utf8），注意type(x)和type("你好")的區別。從編碼上能夠看出utf8編碼與gbk不一樣。在utf8的 locale設置下，打印x按該環境變量編碼（我猜我猜我猜猜猜），而打印x.encode("gbk")則是亂碼。