UTF-8 UTF-16 LE BE ByteOrderMark BOM

問題一：Unicode 、 UTF-8 區別

簡單來講： Unicode 是「字符集」 UTF-8 是「編碼規則」 其中：

字符集：爲每個「字符」分配一個惟一的 ID（學名爲碼位 / 碼點 / Code Point） 編碼規則：將「碼位」轉換爲字節序列的規則（編碼/解碼 能夠理解爲 加密/解密 的過程）

Unicode 字符集爲每個字符分配一個碼位，例如「知」的碼位是 30693，記做 U+77E5（30693 的十六進制爲 0x77E5）。

UTF-8 顧名思義，是一套以 8 位爲一個編碼單位的可變長編碼。會將一個碼位編碼爲 1 到 4 個字節：

U+ 0000 ~ U+  007F: 0XXXXXXX
U+ 0080 ~ U+  07FF: 110XXXXX 10XXXXXX
U+ 0800 ~ U+  FFFF: 1110XXXX 10XXXXXX 10XXXXXX
U+10000 ~ U+10FFFF: 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX

根據上表中的編碼規則，以前的「知」字的碼位 U+77E5 屬於第三行的範圍：

7    7    E    5
    0111 0111 1110 0101    二進制的 77E5
--------------------------
    0111   011111   100101 二進制的 77E5
1110XXXX 10XXXXXX 10XXXXXX 模版（上表第三行）
11100111 10011111 10100101 代入模版
   E   7    9   F    A   5

這就是將 U+77E5 按照 UTF-8 編碼爲字節序列 E79FA5 的過程。反之亦然。

從結果看出，UTF-8表示中文這些字符會比UTF-16須要的空間要大。表示英文字符則比UTF-16要小。這是由於UTF-8須要固定的前綴，這些前綴是爲了讓編碼可變長。

問題二：UTF-16

U+000~U+FFFF: 2 Byte存儲，編碼後等於Unicode值

U+10000~U+10FFFF: 4 Byte存儲，現將Unicode值減去（0x10000），獲得20bit長的值。再將Unicode分爲高10位和低10位。UTF-16編碼的高位是2 Byte，高10位Unicode範圍爲0-0x3FF，將Unicode值加上0XD800，獲得高位代理（或稱爲前導代理，存儲高位）；低位也是2 Byte，低十位Unicode範圍同樣爲0~0x3FF，將Unicode值加上0xDC00,獲得低位代理（或稱爲後尾代理，存儲低位）

發現它的碼點在 U+D800 到 U+DBFF 之間，就能夠判定，緊跟在後面的兩個字節的碼點，應該在 U+DC00 到 U+DFFF 之間，這四個字節必須放在一塊兒解讀。

4個字節碼點高低位計算公式：

c 表示代碼點。 0x400 就是 1024。0xD800是：1101100000000000，0xDC00是1101110000000000。就是給10位上加前綴

H = (c-0x10000) / 0x400+0xD800

L = (c - 0x10000) % 0x400 + 0xDC00

對應位運算公式：

H = (c-0x10000) >> 10 + 0xD800

L = (c - 0x10000) & (1024 - 1) + 0xDC00

問題三：UTF-8 比 UTF-16使用普遍

兩種編碼存在的問題與優勢

參考：

知乎：Unicode 和 UTF-8 有什麼區別？

知乎：Unicode 編碼及 UTF-32, UTF-16 和 UTF-8

知乎：爲何 UTF-8 編碼比 UTF-16 編碼應用更普遍？

完全弄懂 Unicode 編碼