字符編碼(ASCII,Unicode和UTF-8) 和 大小端

 

本文包括2部份內容:「ASCII,Unicode和UTF-8」 和 「Big Endian和Little Endian」。html

第1部分 ASCII,Unicode和UTF-8 介紹

1. ASCII碼ubuntu

咱們知道,在計算機內部,全部的信息最終都表示爲一個二進制的字符串。每個二進制位(bit)有0和1兩種狀態,所以八個二進制位就能夠組合出256種狀態,這被稱爲一個字節(byte)。也就是說,一個字節一共能夠用來表示256種不一樣的狀態,每個狀態對應一個符號,就是256個符號,從0000000到11111111。編碼

上個世紀60年代,美國製定了一套字符編碼,對英語字符與二進制位之間的關係,作了統一規定。這被稱爲ASCII碼,一直沿用至今。spa

ASCII碼一共規定了128個字符的編碼,好比空格"SPACE"是32(二進制00100000),大寫的字母A是65(二進制01000001)。這128個符號(包括32個不能打印出來的控制符號),只佔用了一個字節的後面7位,最前面的1位統一規定爲0。code

 

二、非ASCII編碼htm

英語用128個符號編碼就夠了,可是用來表示其餘語言,128個符號是不夠的。好比,在法語中,字母上方有注音符號,它就沒法用ASCII碼錶示。因而,一些歐洲國家就決定,利用字節中閒置的最高位編入新的符號。好比,法語中的é的編碼爲130(二進制10000010)。這樣一來,這些歐洲國家使用的編碼體系,能夠表示最多256個符號。blog

可是,這裏又出現了新的問題。不一樣的國家有不一樣的字母,所以,哪怕它們都使用256個符號的編碼方式,表明的字母卻不同。好比,130在法語編碼中表明瞭é,在希伯來語編碼中卻表明了字母Gimel (ג),在俄語編碼中又會表明另外一個符號。可是無論怎樣,全部這些編碼方式中,0--127表示的符號是同樣的,不同的只是128--255的這一段。utf-8

至於亞洲國家的文字,使用的符號就更多了,漢字就多達10萬左右。一個字節只能表示256種符號,確定是不夠的,就必須使用多個字節表達一個符號。好比,簡體中文常見的編碼方式是GB2312,使用兩個字節表示一個漢字,因此理論上最多能夠表示256x256=65536個符號。ci

中文編碼的問題須要專文討論,這篇筆記不涉及。這裏只指出,雖然都是用多個字節表示一個符號,可是GB類的漢字編碼與後文的Unicode和UTF-8是毫無關係的。unicode

 

3.Unicode

正如上一節所說,世界上存在着多種編碼方式,同一個二進制數字能夠被解釋成不一樣的符號。所以,要想打開一個文本文件,就必須知道它的編碼方式,不然用錯誤的編碼方式解讀,就會出現亂碼。爲何電子郵件經常出現亂碼?就是由於發信人和收信人使用的編碼方式不同。

能夠想象,若是有一種編碼,將世界上全部的符號都歸入其中。每個符號都給予一個獨一無二的編碼,那麼亂碼問題就會消失。這就是Unicode,就像它的名字都表示的,這是一種全部符號的編碼。

Unicode固然是一個很大的集合,如今的規模能夠容納100多萬個符號。每一個符號的編碼都不同,好比,U+0639表示阿拉伯字母Ain,U+0041表示英語的大寫字母A,U+4E25表示漢字"嚴"。具體的符號對應表,能夠查詢unicode.org,或者專門的漢字對應表

 

4. Unicode的問題

須要注意的是,Unicode只是一個符號集,它只規定了符號的二進制代碼,卻沒有規定這個二進制代碼應該如何存儲。

好比,漢字"嚴"的unicode是十六進制數4E25,轉換成二進制數足足有15位(100111000100101),也就是說這個符號的表示至少須要2個字節。表示其餘更大的符號,可能須要3個字節或者4個字節,甚至更多。 

這裏就有兩個嚴重的問題,第一個問題是,如何才能區別Unicode和ASCII?計算機怎麼知道三個字節表示一個符號,而不是分別表示三個符號呢?第二個問題是,咱們已經知道,英文字母只用一個字節表示就夠了,若是Unicode統一規定,每一個符號用三個或四個字節表示,那麼每一個英文字母前都必然有二到三個字節是0,這對於存儲來講是極大的浪費,文本文件的大小會所以大出二三倍,這是沒法接受的。

它們形成的結果是:1)出現了Unicode的多種存儲方式,也就是說有許多種不一樣的二進制格式,能夠用來表示Unicode。2)Unicode在很長一段時間內沒法推廣,直到互聯網的出現。

 

5.UTF-8

互聯網的普及,強烈要求出現一種統一的編碼方式。UTF-8就是在互聯網上使用最廣的一種Unicode的實現方式。其餘實現方式還包括UTF-16(字符用兩個字節或四個字節表示)和UTF-32(字符用四個字節表示),不過在互聯網上基本不用。重複一遍,這裏的關係是,UTF-8是Unicode的實現方式之一。 

UTF-8最大的一個特色,就是它是一種變長的編碼方式。它可使用1~4個字節表示一個符號,根據不一樣的符號而變化字節長度。

UTF-8的編碼規則很簡單,只有二條:

1)對於單字節的符號,字節的第一位設爲0,後面7位爲這個符號的unicode碼。所以對於英語字母,UTF-8編碼和ASCII碼是相同的。

2)對於n字節的符號(n>1),第一個字節的前n位都設爲1,第n+1位設爲0,後面字節的前兩位一概設爲10。剩下的沒有說起的二進制位,所有爲這個符號的unicode碼。

下表總結了編碼規則,字母x表示可用編碼的位。

Unicode符號範圍          |   UTF-8編碼方式
(十六進制)                      | (二進制)
--------------------+---------------------------------------------
0000 0000-0000 007F   | 0xxxxxxx
0000 0080-0000 07FF   | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF  | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF  | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟據上表,解讀UTF-8編碼很是簡單。若是一個字節的第一位是0,則這個字節單獨就是一個字符;若是第一位是1,則連續有多少個1,就表示當前字符佔用多少個字節。

下面,仍是以漢字"嚴"爲例,演示如何實現UTF-8編碼。

已知"嚴"的unicode是4E25(100111000100101),根據上表,能夠發現4E25處在第三行的範圍內(0000 0800-0000 FFFF),所以"嚴"的UTF-8編碼須要三個字節,即格式是"1110xxxx 10xxxxxx 10xxxxxx"。而後,從"嚴"的最後一個二進制位開始,依次從後向前填入格式中的x,多出的位補0。這樣就獲得了,"嚴"的UTF-8編碼是"11100100 10111000 10100101",轉換成十六進制就是E4B8A5。

 

第2部分 big endian 和 little endian介紹

big endian(大端法)是指低地址存放最高有效字節(MSB),而little endian(小端法)則是低地址存放最低有效字節(LSB)。

經過文字理解可能比較抽象,下面用圖像加以說明。下圖是「0x12345678在兩種字節序中的存儲順序」:

Big Endian

   低地址                                            高地址
   ----------------------------------------->
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |     12     |      34    |     56      |     78    |   
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

說明:上面是0x12345678對應big endian的存儲方式。

(01) 0x12345678是int整數,它共有4個字節:分別是0x12, 0x34, 0x56, 0x78;其中,0x12是最高有效字節,0x78是最低有效字節。int佔4個字節,這個是常識;0x12是十六進制的表示方式,0x12對應的二進制是00010010,正好是8位,也就是1個字節;所以0x12, 0x34, 0x56, 0x78共是4個字節。

(02) big endian是將最高有效字節存儲在低地址中,由於就是0x12(最高有效地址),存在低地址;那麼,從低往高地址依次存放0x12  -->  0x34 -->  0x56  --> 0x78。也就是上面圖像中的存儲方式。

Little Endian

   低地址                                            高地址
   ----------------------------------------->
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |     78     |      56    |     34      |     12    |   
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

說明:上面是0x12345678對應little endian的存儲方式。

(01) 0x12345678是int整數,它共有4個字節:分別是0x12, 0x34, 0x56, 0x78;其中,0x12是最高有效字節,0x78是最低有效字節

(02) little endian是將最低有效字節存儲在低地址中,由於就是0x78(最低有效地址),存在低地址;從低往高地址依次存放0x78 --> 0x56  -->  0x34 -->  0x12。也就是上面圖像中的存儲方式。 

big endian 和 little endian判斷方式

下面,咱們經過示例程序來判斷CPU是大端存儲仍是小端存儲。
源碼以下(endian.c):

void main() {
    int i = 0x12345678;
    char* pc = (char*)&i;
    if (*pc == 0x12) {
        printf("Big Endian\n");
    } else if (*pc == 0x78) {
        printf("Little Endian\n");
    }   
}

我在ubuntu12.04系統下,運行的結果是「Little Endian」。

  


參考文獻:字符編碼筆記:ASCII,Unicode和UTF-8

更多內容:

01. skywang的博客目錄(持續更新中...)

02. Java 集合系列目錄(Category) 

相關文章
相關標籤/搜索