ASCII 是一種字符集,包括大小寫的英文字母、數字、控制字符等,它用一個字節表示,範圍是 0-127 Unicode分爲UTF-8和UTF-16。
UTF-8變長度的,最多 6 個字節,小於 127 的字符用一個字節表示,與 ASCII 字符集的結果同樣,ASCII 編碼下的英語文本不須要修改就能夠看成 UTF-8 編碼進行處理。
Python 從 2.2 開始支持 Unicode ,函數 decode( char_set )能夠實現 其它編碼到 Unicode 的轉換,函數 encode( char_set )實現 Unicode 到其它編碼方式的轉換。
好比 python
("你好").decode( "GB2312")
將獲得 函數
u'\u4f60\u597d',
即 "你"和「好"的 Unicode 碼分別是 0x4f60 和 0x597d
再用 測試
(u'\u4f60\u597d').encode("UTF-8")
將獲得 編碼
'\xe4\xbd\xa0\xe5\xa5\xbd'
它是 「你好」的UTF-8編碼結果。
python中使用 unicode的關鍵:unicode是一個類,函數unicode(str,"utf8")從utf8編碼(固然也能夠是別的編碼)的字符串str生成 unicode類的對象,而函數unc.encode("utf8")將unicode類的對象unc轉換爲(編碼爲)utf8編碼(固然也能夠是別的編碼)的字符串。因而,編寫unicode相關程序,須要作的事情是 * 獲取數據(字符串)時,用unicode(str, "utf8")生成unicode對象 * 在程序中僅使用unicode對象,對程序中出現的字符串常量都以u"字符串"的形式書寫 * 輸出時,可將unicode對象轉換爲任意編碼輸出,使用str.encode("some_encoding") spa
>>> unicode("你好", "utf8") u'\u4f60\u597d' >>> x = _ >>> type(x) >>> type("你好") >>> x.encode("utf8") '\xe4\xbd\xa0\xe5\xa5\xbd' >>> x.encode("gbk") '\xc4\xe3\xba\xc3' >>> x.encode("gb2312") '\xc4\xe3\xba\xc3' >>> print x 你好 >>> print x.encode("utf8") 你好 >>> print x.encode("gbk") ???
以上是測試結果(Ubuntu 6.06,locale爲utf8),注意type(x)和type("你好")的區別。從編碼上能夠看出utf8編碼與gbk不一樣。在utf8的 locale設置下,打印x按該環境變量編碼(我猜我猜我猜猜猜),而打印x.encode("gbk")則是亂碼。code