計算機編碼歷程(what is Unicode&UTF8 )

好久好久之前，有一羣人，他們決定用8個能夠開合的晶體管來組合成不一樣的狀態，以表示世界上的萬物。他們看到8個開關狀態是好的，因而他們把這稱爲」字節「。再後來，他們又作了一些能夠處理這些字節的機器，機器開動了，能夠用字節來組合出不少狀態，狀態開始變來變去。他們看到這樣是好的，因而它們就這機器稱爲」計算機「。 開始計算機只在美國用。八位的字節一共能夠組合出256(2的8次方)種不一樣的狀態。 他們把其中的編號從0開始的32種狀態分別規定了特殊的用途，一但終端、打印機趕上約定好的這些字節被傳過來時，就要作一些約定的動做：趕上0×10, 終端就換行；趕上0×07, 終端就向人們嘟嘟叫；趕上0x1b, 打印機就打印反白的字，或者終端就用彩色顯示字母。

他們看到這樣很好，因而就把這些0×20如下的字節狀態稱爲」控制碼」。他們又把全部的空 格、標點符號、數字、大小寫字母分別用連續的字節狀態表示，一直編到了第127號，這樣計算機就能夠用不一樣字節來存儲英語的文字了。你們看到這樣，都感受 很好，因而你們都把這個方案叫作 ANSI 的」Ascii」編碼（American Standard Code for Information Interchange，美國信息互換標準代碼）。當時世界上全部的計算機都用一樣的ASCII方案來保存英文文字。

後來，就像建造巴比倫塔同樣，世界各地都開始使用計算機，可是不少國家用的不是英文，他們的字母裏有許可能是ASCII裏沒有的，爲了能夠在計算機保存他們的文字，他們決定採用 127號以後的空位來表示這些新的字母、符號，還加入了不少畫表格時須要用下到的橫線、豎線、交叉等形狀，一直把序號編到了最後一個狀態255。從128 到255這一頁的字符集被稱」擴展字符集「。今後以後，貪婪的人類再沒有新的狀態能夠用了，美帝國主義可能沒有想到還有第三世界國家的人們也但願能夠用到計算機吧！

等中國人們獲得計算機時，已經沒有能夠利用的字節狀態來表示漢字，何況有6000多個經常使用漢字須要保存呢。可是這難不倒智慧的中國人民，咱們不客氣地把那些127號以後的奇異符號們直接取消掉, 規定：一個小於127的字符的意義與原來相同，但兩個大於127的字符連在一塊兒時，就表示一個漢字，前面的一個字節（他稱之爲高字節）從0xA1用到0xF7，後面一個字節（低字節）從0xA1到0xFE，這樣咱們就能夠組合出大約7000多個簡體漢字了。在這些編碼裏，咱們還把數學符號、羅馬希臘的字母、日文的假名們都編進去了，連在 ASCII 裏原本就有的數字、標點、字母都通通從新編了兩個字節長的編碼，這就是常說的」全角」字符，而原來在127號如下的那些就叫」半角」字符了。中國人民看到這樣很不錯，因而就把這種漢字方案叫作 「GB2312「。GB2312 是對 ASCII 的中文擴展。

可是中國的漢字太多了，咱們很快就就發現有許多人的人名沒有辦法在這裏打出來，特別是某些很會麻煩別人的國家領導人。因而咱們不得不繼續把GB2312 沒有用到的碼位找出來老實不客氣地用上。後來仍是不夠用，因而乾脆再也不要求低字節必定是127號以後的內碼，只要第一個字節是大於127就固定表示這是一個漢字的開始，無論後面跟的是否是擴展字符集裏的內容。結果擴展以後的編碼方案被稱爲 GBK 標準，GBK包括了GB2312 的全部內容，同時又增長了近20000個新的漢字（包括繁體字）和符號。 後來少數民族也要用電腦了，因而咱們再擴展，又加了幾千個新的少數民族的字，GBK擴成了 GB18030。今後以後，中華民族的文化就能夠在計算機時代中傳承了。 中國的程序員們看到這一系列漢字編碼的標準是好的，因而通稱他們叫作 「DBCS「（Double Byte Charecter Set 雙字節字符集）。在DBCS系列標準裏，最大的特色是兩字節長的漢字字符和一字節長的英文字符並存於同一套編碼方案裏，所以他們寫的程序爲了支持中文處理，必需要注意字串裏的每個字節的值，若是這個值是大於127的，那麼就認爲一個雙字節字符集裏的字符出現了。那時候凡是受過加持，會編程的計算機僧侶們都要天天念下面這個咒語數百遍： 「一個漢字算兩個英文字符！一個漢字算兩個英文字符……」

由於當時各個國家都像中國這樣搞出一套本身的編碼標準，結果互相之間誰也不懂誰的編碼，誰也不支持別人的編碼，連大陸和臺灣這樣只相隔了150海里，使用着同一種語言的兄弟地區，也分別採用了不一樣的 DBCS 編碼方案——當時的中國人想讓電腦顯示漢字，就必須裝上一個」漢字系統」，專門用來處理漢字的顯示、輸入的問題，像是那個臺灣的愚昧封建人士寫的算命程序就必須加裝另外一套支持 BIG5 編碼的什麼」倚天漢字系統」才能夠用，裝錯了字符系統，顯示就會亂了套！這怎麼辦？並且世界民族之林中還有那些一時用不上電腦的窮苦人民，他們的文字又怎麼辦？ 真是計算機的巴比倫塔命題啊！

正在這時，大天使加百列及時出現了——一個叫 ISO（國際標誰化組織）的國際組織決定着手解決這個問題。他們採用的方法很簡單：廢了全部的地區性編碼方案，從新搞一個包括了地球上全部文化、全部字母和符號 的編碼！他們打算叫它」Universal Multiple-Octet Coded Character Set」，簡稱 UCS, 俗稱 「unicode「。

unicode開始制訂時，計算機的存儲器容量極大地發展了，空間不再成爲問題了。因而 ISO 就直接規定必須用兩個字節，也就是16位來統一表示全部的字符，對於ASCII裏的那些「半角」字符，unicode包持其原編碼不變，只是將其長度由原來的8位擴展爲16位，而其餘文化和語言的字符則所有從新統一編碼。因爲」半角」英文符號只須要用到低8位，因此其高8位永遠是0，所以這種大氣的方案在保存英文文本時會多浪費一倍的空間。

這時候，從舊社會裏走過來的程序員開始發現一個奇怪的現象：他們的 strlen 函數靠不住了，一個漢字再也不是至關於兩個字符了，而是一個！是的，從unicode開始，不管是半角的英文字母，仍是全角的漢字，它們都是統一的」一個字符「！同時，也都是統一的」兩個字節「，請注意」字符」和」字節」兩個術語的不一樣，「字節」是一個8位的物理存貯單元，而「字符」則是一個文化相關的符號。在unicode中，一個字符就是兩個字節。一個漢字算兩個英文字符的時代已經快過去了。

unicode一樣也不完美，這裏就有兩個的問題，一個是，如何才能區別unicode和ascii？計算機怎麼知道三個字節表示一個符號，而不是分別表示三個符號呢？第二個問題是，咱們已經知道，英文字母只用一個字節表示就夠了，若是unicode統一規定，每一個符號用三個或四個字節表示，那麼每一個英文字母前都必然有二到三個字節是0，這對於存儲空間來講是極大的浪費，文本文件的大小會所以大出二三倍，這是難以接受的。

unicode在很長一段時間內沒法推廣，直到互聯網的出現，爲解決unicode如何在網絡上傳輸的問題，因而面向傳輸的衆多 UTF（UCS Transfer Format）標準出現了，顧名思義，UTF-8就是每次8個位傳輸數據，而UTF-16就是每次16個位。UTF-8就是在互聯網上使用最廣的一種unicode的實現方式，這是爲傳輸而設計的編碼，並使編碼無國界，這樣就能夠顯示全世界上全部文化的字符了。UTF-8最大的一個特色，就是它是一種變長的編碼方式。它可使用1~4個字節表示一個符號，根據不一樣的符號而變化字節長度，當字符在ASCII碼的範圍時，就用一個字節表示，保留了ASCII字符一個字節的編碼作爲它的一部分，注意的是unicode一箇中文字符佔2個字節，而UTF-8一箇中文字符佔3個字節）。從unicode到uft-8並非直接的對應，而是要過一些算法和規則來轉換。

Unicode符號範圍	UTF-8編碼方式
(十六進制)	（二進制）
0000 0000-0000 007F	0xxxxxxx
0000 0080-0000 07FF	110xxxxx 10xxxxxx
0080-0000	07FF
0000 0800-0000 FFFF	1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

最後簡單總結一下：

• 中國人民經過對 ASCII 編碼的中文擴充改造，產生了 GB2312 編碼，能夠表示6000多個經常使用漢字。
• 漢字實在是太多了，包括繁體和各類字符，因而產生了 GBK 編碼，它包括了 GB2312 中的編碼，同時擴充了不少。
• 中國是個多民族國家，各個民族幾乎都有本身獨立的語言系統，爲了表示那些字符，繼續把 GBK 編碼擴充爲 GB18030 編碼。
• 每一個國家都像中國同樣，把本身的語言編碼，因而出現了各類各樣的編碼，若是你不安裝相應的編碼，就沒法解釋相應編碼想表達的內容。
• 終於，有個叫 ISO 的組織看不下去了。他們一塊兒創造了一種編碼 UNICODE ，這種編碼很是大，大到能夠容納世界上任何一個文字和標誌。因此只要電腦上有 UNICODE 這種編碼系統，不管是全球哪一種文字，只須要保存文件的時候，保存成 UNICODE 編碼就能夠被其餘電腦正常解釋。
• UNICODE 在網絡傳輸中，出現了兩個標準 UTF-8 和 UTF-16，分別每次傳輸 8個位和 16個位。因而就會有人產生疑問，UTF-8 既然能保存那麼多文字、符號，爲何國內還有這麼多使用 GBK 等編碼的人？由於 UTF-8 等編碼體積比較大，佔電腦空間比較多，若是面向的使用人羣絕大部分都是中國人，用 GBK 等編碼也能夠。