字符集相關知識

字符集(Character set)是多個字符的集合，字符集種類較多，每一個字符集包含的字符個數不一樣，常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。

ASCII

 

（American Standard Code for Information Interchange，美國信息互換標準編碼）是基於羅馬字母表的一套電腦編碼系統。

特色

它主要用於顯示現代英語和其餘 西歐語言。它是現今最通用的單 字節編碼系統，並等同於國際標準ISO 646。

包含內容

控制字符： 回車鍵、退格、換行鍵等。

可顯示字符：英文大小寫字符、阿拉伯數字和西文符號。

技術特徵

7位（bits）表示一個字符，共128字符，字符值從0到127，其中32到126是可打印字符。

擴展自符集

7位編碼的字符集只能支持128個字符，爲了表示更多的 歐洲經常使用字符對ASCII進行了擴展，ASCII擴展字符集使用8位（bits）表示一個字符，共256字符。

ASCII擴展字符集：它是從ASCII字符集擴充出來的，擴充後的符號增長了表格符號、計算符號、希臘字母和特殊的拉丁符號。

 

GB2312

又稱爲 GB2312-80字符集，全稱爲《信息交換用漢字編碼字符集·基本集》，由原 中國國家標準總局發佈，1981年5月1日實施。

特色

GB2312是 中國國家標準的簡體中文字符集。它所收錄的漢字已經覆蓋99.75%的使用頻率，基本知足了漢字的計算機處理須要。在中國大陸和 新加坡獲普遍使用。

包含內容

GB2312收錄簡化漢字及通常符號、序號、數字、拉丁字母、日文假名、希臘字母、俄文字母、漢語拼音符號、漢語注音字母，共 7445 個圖形字符。其中包括6763個漢字，其中一級漢字3755個，二級漢字3008個；包括拉丁字母、希臘字母、日文平假名及片假名字母、俄語 西裏爾字母在內的682個 全角字符。

技術特徵

（1）分區表示：

GB2312中對所收漢字進行了「分區」處理，每區含有94個漢字/符號。這種表示方式也稱爲區位碼。

各區包含的字符以下：01-09區爲特殊符號；16-55區爲一級漢字，按拼音排序；56-87區爲二級漢字，按部首/筆畫排序；10-15區及88-94區則未有編碼。

（2）雙 字節表示

兩個 字節中前面的字節爲第一字節，後面的字節爲第二字節。習慣上稱第一 字節爲「高字節」 ，而稱第二字節爲「低字節」。

「高位 字節」使用了0xA1-0xF7(把01-87區的區號加上0xA0)，「低位字節」使用了0xA1-0xFE(把01-94加上0xA0)。

編碼舉例

以GB2312字符集的第一個漢字「啊」字爲例，它的區號16，位號01，則區位碼是1601，在大多數 計算機程序中，高 字節和低字節分別加0xA0獲得程序的漢字處理編碼0xB0A1。計算公式是：0xB0=0xA0+16, 0xA1=0xA0+1。

 

BIG5

又稱 大五碼或五大碼，1984年由 臺灣財團法人 信息工業策進會和五家 軟件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大衆 (FIC)創立，故稱大五碼。

Big5碼的產生，是由於當時 臺灣不一樣廠商各自推出不一樣的編碼，如倚天碼、IBM PS5五、 王安碼等，彼此不能兼容；另外一方面，臺灣政府當時還沒有推出官方的 漢字編碼，而 中國大陸的GB2312編碼亦未有收錄 繁體中文字。

特色

Big5字符集共收錄13,053箇中文字，該字符集在 中國 臺灣使用。回味無窮的是該字符集重複地收錄了兩個相同的字：「兀」(0xA461及0xC94A)、「嗀」(0xDCD1及0xDDFC)。

編碼方法

Big5碼使用了雙 字節儲存方法，以兩個字節來編碼一個字。第一個 字節稱爲「高位字節」，第二個字節稱爲「低位字節」。高位 字節的編碼範圍0xA1-0xF9，低位字節的編碼範圍0x40-0x7E及0xA1-0xFE。

各編碼範圍對應的字符類型以下：0xA140-0xA3BF爲標點符號、希臘字母及特殊符號，另外於0xA259-0xA261，存放了雙音節度量衡單位用字：兙兛兞兝兡兣嗧瓩糎；0xA440-0xC67E爲經常使用漢字，先按筆劃再按部首排序；0xC940-0xF9D5爲次經常使用漢字，亦是先按筆劃再按部首排序。

侷限性

儘管Big5碼內包含一萬多個字符，可是沒有考慮社會上流通的人名、地名用字、方言用字、化學及生物科等用字，沒有包含日文平假名及片假名字母。

例如 臺灣視「着」爲「著」的異體字，故沒有收錄「着」字。康熙字典中的一些部首用字(如「亠」、「疒」、「辵」、「癶」等)、常見的人名用字(如「堃」、「煊」、「栢」、「喆」等) 也沒有收錄到Big5之中。

GB18030

GB 18030的全稱是GB18030-2000《信息交換用 漢字編碼字符集基本集的擴充》，是我國政府於2000年3月17日發佈的新的漢字編碼國家標準，2001年8月31往後在 中國市場上發佈的 軟件必須符合本標準。

特色

GB 18030字符集標準的出臺通過普遍參與和論證，來自國內外知名信息技術行業的公司，信息產業部和原國家質量技術監督局聯合實施。

GB 18030字符集標準解決漢字、日文假名、朝鮮語和 中國少數民族文字組成的大字符集 計算機編碼問題。該標準的字符總編碼空間超過150萬個編碼位，收錄了27484個漢字，覆蓋中文、日文、朝鮮語和 中國少數民族文字。知足中國大陸、 香港、 臺灣、 日本和韓國等 東亞地區信息交換多文種、大字量、多用途、統一編碼格式的要求。而且與Unicode 3.0版本兼容，填補Unicode擴展字符字彙「統一漢字擴展A」的內容。而且與之前的國家 字符編碼標準（GB2312，GB13000.1）兼容。

編碼方法

GB 18030標準採用單 字節、雙字節和四字節三種方式對 字符編碼。單 字節部分使用0×00至0×7F碼(對應於ASCII碼的相應碼)。雙 字節部分，首字節碼從0×81至0×FE，尾字節碼位分別是0×40至0×7E和0×80至0×FE。四 字節部分採用GB/T 11383未採用的0×30到0×39做爲對雙字節編碼擴充的後綴，這樣擴充的四字節編碼，其範圍爲0×81308130到0×FE39FE39。其中第1、三個字節編碼碼位均爲0×81至0×FE，第2、四個字節編碼碼位均爲0×30至0×39。

包含內容

雙 字節部分收錄內容主要包括GB13000.1所有CJK漢字20902個、有關標點符號、表意文字描述符13個、增補的漢字和部首/構件80個、雙字節編碼的 歐元符號等。　四 字節部分收錄了上述雙字節字符以外的，包括CJK統一漢字擴充A在內的GB 13000.1中的所有字符。

 

Unicode

Unicode字符集編碼是Universal Multiple-Octet Coded Character Set 通用多八位編碼字符集的簡稱，是由一個名爲 Unicode 學術學會(Unicode Consortium)的機構制訂的 字符編碼系統，支持現今世界各類不一樣語言的書面文本的交換、處理及顯示。該編碼於1990年開始研發，1994年正式公佈，最新版本是2012年1月31日的Unicode 6.1。

特徵

Unicode是一種在計算機上使用的 字符編碼。它爲每種語言中的每一個字符設定了統一而且惟一的 二進制編碼，以知足跨語言、跨平臺進行文本轉換、處理的要求。

編碼方法

Unicode 標準始終使用十六進制數字，並且在書寫時在前面加上前綴「U+」，例如字母「A」的編碼爲 004116 和字符「?」的編碼爲 20AC16。因此「A」的編碼書寫爲「U+0041」。

UTF-8 編碼

UTF-8是Unicode的其中一個使用方式。 UTF是 Unicode Tranformation Format，即把Unicode轉作某種格式的意思。

UTF-8便於不一樣的計算機之間使用 網絡傳輸不一樣語言和編碼的文字，使得雙 字節的Unicode可以在現存的處理單字節的系統上正確傳輸。

UTF-8使用可變長度 字節來儲存 Unicode字符，例如ASCII字母繼續使用1字節儲存，重音文字、希臘字母或 西裏爾字母等使用2字節來儲存，而經常使用的漢字就要使用3字節。 輔助平面字符則使用4 字節。

UTF-8（8-bit Unicode Transformation Format）是一種針對 Unicode的可變長度 字符編碼，又稱萬國碼。由Ken Thompson於1992年建立。如今已經標準化爲RFC 3629。UTF-8用1到6個 字節編碼UNICODE 字符。用在網頁上能夠同一頁面顯示 中文簡體繁體及其它 語言（如 英文，日文，韓文）。

比較

UTF-16 和 UTF-32 編碼

UTF-3二、 UTF-16和 UTF-8 是 Unicode 標準的編碼字符集的 字符編碼方案，UTF-16 使用一個或兩個未分配的 16 位代碼單元的序列對 Unicode 代碼點進行編碼；UTF-32 即將每個 Unicode 代碼點表示爲相同值的 32 位整數。