Python2編碼問題

如下內容說的都是 python 2.x 版本

簡介

• 基本概念
• Python 「幫」你作的事情
• 推薦姿式

一、基本概念

咱們看到的輸入輸出都是‘字符’（characters），計算機（程序）並不能直接處理，須要轉化成字節數據（bytes），由於程序只能處理 bytes 數據。
例如：文件、網絡傳輸等，處理的都是 bytes 數據——二進制數字。

1.1 ASCII / Unicode

孤立的 byte 是毫無心義的，因此咱們來賦予他們含義。就引入‘字符集’的概念，‘字符集’就是一個碼位（code point）對應的一個字符的表。

該表用於賦予 byte 意義。還須要知道一個點：由於 ASCII 字符集支持的字符太少，不能表示各個國家語言中的字符。因此就發明了
Unicode ——萬國碼，該字符集包含了你能用到的全部的字符。

1.2 Encode / Decode

在 python 中字符串分爲兩個對象：str 和 unicode

• str： a sequence of bytes
• unicode：a sequence of code point(碼位——字符集中的數字)

unicode_obj.encode() ——> bytes ‘編碼’(encode)
bytes_obj.decode() ——> unicode ‘解碼’(decode)

UTF-8 是最流行的一種對 Unicode 進行傳播和存儲的編碼方式。因此，多用它做爲編碼方式。

s = 'hello' # str

u = u'你好' # unicode

back_to_bytes = u.encode('utf-8')

back_to_utf8 = back_to_bytes.decode('utf-8') # 或 unicode(s, 'utf-8')

1.3 聲明編碼

正如前面所說的，計算機只能操做 bytes，因此 Python 在編譯原文件的時候，會先把源文件進行編碼，默認以‘ASCII’進行編碼。這就是爲何若是源文件中帶有‘中文’，須要在源文件的起始行聲明編碼方式。

完成編碼後，源碼中的全部字符，都變成了 bytes 計算機就能夠進行編譯和處理了。編譯過程：

1. 讀取文件
2. 不一樣的文件，根據其聲明的編碼去解析爲Unicode
3. 轉換爲UTF-8字符串
4. 針對UTF-8字符串，去分詞
5. 編譯，建立Unicode對象（Python解釋器處理）

根據這個過程，在本身的代碼中也應該按照這個邏輯處理，意思是：

1. 接收外部數據時，統一轉化爲Unicode
2. 代碼內部處理的都是Unicode
3. 輸出時統一轉化爲UTF-8（網絡數據傳輸、文本輸出）

參考：PEP 263 -- Defining Python Source Code Encodings

1.4 小結

1. 程序中全部的輸入和輸出均爲 byte
2. 世界上的文本須要比 256 更多的符號來表現（ASCII是不夠的）
3. 你的程序必須可以處理 byte 和 unicode

4. byte 流中不會包含編碼信息(編碼信息會在：文件的開頭、協議中等地方聲明)

   Content-Type:text/html; charset=UTF-8

5. 指明的編碼有多是錯誤的（出現亂碼）

二、python 「幫」你作的事情

在 python 中處理編碼問題，會出現不少問題，這裏就不一一列舉。

這些問題大都是使用了不匹配的編碼方式進行解碼、編碼形成的。而 python 爲了語法更加簡介，在一些內置方法中，使用了一些隱性轉換。這種隱形的轉換帶了的便捷的同時也會帶來一些非預期的錯誤。下面就一一道來。

2.1 a = "abc" + u"bcd"

a = "abc" + u"bcd"，Python 會如此轉換 "abc".decode(sys.getdefaultencoding()) 而後將兩個 Unicode 字符合並。

2.2 兩個內建方法str()和unicode()，

1. str：something.encode(sys.getdefaultencoding())
2. unicode：something.decode(sys.getdefaultencoding())

sys.getdefaultencoding()默認爲：ASCII，這就是爲何str(u'中文')和unicode('中文')分別會報錯：UnicodeEncodeError和UnicodeDecodeError。由於ASCII編碼方式，編碼／解碼不了中文（支持的字符有限）。

2.3 print函數

print函數，會對輸出的內容進行編碼，這是由於：所謂的輸出，也是從一個程序到另一個程序。程序之間的交互都是都是傳遞 bytes。比方說print，就是把數據傳遞給 終端 ，終端也是個程序，因此print函數就把須要輸出的內容編碼成了 bytes，採用那種編碼方式，就是
由sys.stdout.encoding參數決定的。

在交互環境下（python、ipython）輸入的數據的編碼則由sys.stdin.encoding參數決定。參考：What does python print() function actually do?

2.4 默認編碼方式

python 的默認編髮方式爲 ASCII。

如何改變python的默認編碼方式？：

import sys
# sys.setdefaultencoding() does not exist, here!
reload(sys)  # Reload does the trick!
sys.setdefaultencoding('UTF8')

爲何要重載sys模塊？

由於若是在編譯.py文件的以前，改變默認編碼，會影響Python的編譯。
當編譯完，再重載sys模塊，它就是變成了第三方模塊，能夠隨便更改，不回影響編譯。setdefaultencoding()函數才能夠調用。參考：Changing default encoding of Python?

三、推薦姿式

本片文章沒有列舉出常見的異常，由於若是看懂了上面全部的解釋。再按照下面的姿式使用，那麼 python2 中的編碼問題，因該就不會再困擾你了。

1. Unicode 三明治：儘量的讓你程序處理的文本都爲 Unicode 。以下圖：
   

2. 瞭解你的字符串。你應該知道你的程序中，哪些是 unicode, 哪些是 byte，對於這些 byte 串。你應該知道，他們的編碼是什麼。（詳情見上述小結第 4 條）

3. 測試 Unicode 支持。使用一些奇怪的符號來測試你是否已經作到了以上幾點。（測試看看你的程序是否支持中文）

參考

• Unicode之痛
• Handling Unicode Strings in Python