Unicode和UTF-八、UTF-1六、UTF-32之間的關係

一、首先區別編碼字符集（一個字符集）和字符集編碼（表示一種編碼規則）：Unicode是編碼字符集，而UTF-8, UTF-16, UTF-32是字符集編碼。由於計算機智能處理二進制數字，若是要處理文本、圖像、聲音等就必須先轉換爲二進制才能處理，這個過程就是編碼過程。早期的計算機在設計時採用8個比特(bit,位)做爲一個字節(byte)，因此一個字節可以表示的最大整數就是255（二進制11111111 = 十進制的255），若是要表示更大的整數，就須要使用更多的字節。好比兩個字節能夠表示的最大整數是65535,4個字節能夠表示的最大整數是4294967295。因爲計算機是美國人發明的，所以最先只有127個字符被編碼到計算機中，也就是英文字母的大小寫、數字和一些符號。這個編碼被稱爲**ASCII編碼**。隨着計算機在世界範圍的推廣使用，要處理中文爲表明的非字母語系，顯然一個字節就不夠用了，至少須要兩個字節，並且還不能和ASCII編碼衝突。因此，中國製定了GB2312編碼。能夠想獲得的是，全世界有上百種語言，日本把日文編到Shift_JIS裏，韓國把韓文編到Euc-kr裏。各國有各國的標準，就會不可避免地出現衝突，形成的結果就是，在多語言混合的文本中，顯示出來會有**亂碼**。所以，Unicode應運而生。Unicode把全部的語言都統一到一套編碼中，這樣就不會再有亂碼問題了。Unicode標準也在不斷髮展，最經常使用的是使用兩個字節表示一個字符（若是要用到很是偏僻的字符，就須要4個字節）。現代操做系統和大多數編程語言都直接支持Unicode。如今，捋一捋ASCII編碼和Unicode編碼的區別：ASCII編碼是1個字節，而Unicode編碼一般是2個字節。字母A用ASCII編碼是十進制的65，二進制的01000001；字符0用ASCII編碼是十進制的48，二進制的00110000，注意字符'0'和整數0是不一樣的；漢字中已經超出了ASCII編碼的範圍，用Unicode編碼是十進制的20013，二進制的01001110 00101101。你能夠猜想，若是把ASCII編碼的A用Unicode編碼，只須要在前面補0就能夠，所以，A的Unicode編碼是00000000 01000001。

新的問題又出現了：若是統一成Unicode編碼，亂碼問題今後消失了。可是，若是你寫的文本基本上所有是英文的話，用Unicode編碼比ASCII編碼須要多一倍的存儲空間，在存儲和傳輸上就十分不划算。因此，本着節約的精神，又出現了把Unicode編碼轉化爲「可變長編碼」的UTF-8編碼。UTF-8編碼把一個Unicode字符根據不一樣的數字大小編碼成1-6個字節，經常使用的英文字母被編碼成1個字節，漢字一般是3個字節，只有很生僻的字符纔會被編碼成4-6個字節。若是你要傳輸的文本包含大量英文字符，用UTF-8編碼就能節省空間

 

二、容易產生後歧義的兩字節，Unicode的第一個版本是使用兩個字節（16位）來表示全部字符，這個說法實際上仍是容易讓人產生歧義，讓咱們總以爲兩個字節就表明保存在計算機中時是兩個字節，因而任何字符若是用Unicode表示的話，佔用的空間都是2個字節。上面這個說法實際上是錯誤的。實際上Unicode涉及到兩個步驟，首先是定義一個規範，給全部的字符指定一個惟一對應的數字，這徹底是數學問題。第二步纔是怎麼把字符對應的數字保存在計算機中，這才涉及到實際在計算機中佔多少字節空間。因此咱們能夠這樣理解：Unicode是使用0到65535之間的數字來表示全部的字符，其中0到127這128個數字表示的字符仍然跟ASCII碼同樣，這是第一步。第二步就是怎樣把0到65535這些數字轉化成二進制串保存到計算機裏。這確定就會有不一樣的保存方式了，因而就出現了UTF（Unicode Transformation Format），也就出現了咱們常見的UTF-8, UTF-16, UTF-32。

三、UTF-8 與UTF-16的區別。UTF-16比較好理解，就是任何字符對應的數字都是用兩個字節來保存，咱們一般對Unicode的無解就是把Unicode和UTF-16等同了。可是很顯然，若是都是英文字母，這樣作就有些浪費，命名能夠一個字節表示的爲何非得整兩個呢？因而就出現了UTF-8，這裏的8也是比較容易誤導咱們，這裏的8並非指一個字節！！當使用UTF-8時，表示一個字符是可變的，有多是用一個字節表示，也多是兩個甚至是三個（最多不能超過3個字節），反正是根據當前字符對應數字的大小來決定。因而UTF-8和UTF-16的優劣勢就很容易看出來了：若是所有是英文或英文與其餘語言文字的混合，但英文佔絕大部分，使用UTF-8就比UTF-16節省了不少空間。而若是所有是中文這樣的字符或者混合字符中中文佔了絕大多數，UTF-16就會佔優點了。這裏還有個容錯，下面再討論。

下面舉個例子：假如中文字符'九'對應的Unicode編碼是\u4e5d（這是十六進制表示，十進制是20061，使用十六進制會短些，其實都是等價的）。你可能會問當用程序打開一個文件時咱們怎麼知道那是用的UTF-8仍是UTF-16啊？天然會有點啥標誌：在文件的開頭幾個字節就是標誌。如 EF BB BF 表示UTF-8；FE FF 表示UTF-16。

四、Unicode版本2。前面說的都是Unicode的第一個版本，可是65535顯然不能算是太大的數字，用它來表示經常使用字符是沒有問題的，但若是加上不少特殊字符就不夠用了。因而從1996年開始又來了第二個版本，使用4個字節表示全部字符。這樣就出現了UTF-32。原理跟以前是同樣的，UTF-32就是把全部字符都用32位也就是4個字節來表示，而後UTF-8, UTF-16就視狀況而定了。UTF-8能夠選擇1到8個字節中的任一個來表示，而UTF-16只能是選兩個字節或四個字節。前面說了要知道具體是哪一種編碼方式,須要判斷文本開頭的標誌,下面是全部編碼對應的開頭標誌：

 

其中的UCS就是前面說的ISO制定的標準，和Unicode是徹底同樣的，只不過名字不同。UCS-2對應UTF-16，UCS-4對應UTF-32.UTF-8是沒有對應的UCS。

五、小結

清楚了ASCII、Unicode和UTF-8的關係，咱們就能夠總結一下如今計算機系統通用的字符編碼工做方式：在計算機內存中，統一使用Unicode編碼，當須要保存到硬盤或者須要傳輸的時候，就轉換爲UTF-8編碼。使用記事本編輯的時候，從文件讀取的UTF-8字符被轉換爲Unicode字符到內存裏，編輯完成後，保存的時候再把Unicode轉換爲UTF-8保存到文件。瀏覽網頁的時候，服務器會把動態生成的Unicode內容轉換爲UTF-8再傳輸到瀏覽器因此咱們看到不少網頁的源碼上會有相似的信息，表示該網頁正是用的UTF-8編碼。

更多幹貨筆記關注微信公衆號 : 老九學堂