c#字符串編碼問題

來自森大科技官方博客
http://www.cnsendblog.com/index.php/?p=272
GPS平臺、網站建設、軟件開發、系統運維，找森大網絡科技！
http://cnsendnet.taobao.com

c#字符串編碼問題
1、 ASCII碼
咱們知道，在計算機內部，全部的信息最終都表示爲一個二進制的字符串。每個二進制位（bit）有0和1兩種狀態，所以八個二進制位就能夠組合出256種狀態，這被稱爲一個字節（byte）。也就是說，一個字節一共能夠用來表示256種不一樣的狀態，每個狀態對應一個符號，就是256個符號，從00000000到11111111。
上個世紀60年代，美國製定了一套字符編碼，對英語字符與二進制位之間的關係，作了統一規定。這被稱爲ASCII碼，一直沿用至今。ASCII碼一共規定了128個字符的編碼，好比空格「SPACE」是32（二進制00100000），大寫的字母A是65（二進制01000001）。這128個符號（包括32個不能打印出來的控制符號），只佔用了一個字節的後面7位，最前面的1位統一規定爲0。
在C#中若是你想看看某個字母的ASCII碼是多少，可使用表示字符編碼的類Encoding ，代碼以下：
string s = "a";
byte[] ascii = Encoding.ASCII.GetBytes(s);
咱們經過調試器能夠看到ascii中爲97，也就是說a的ASCII碼爲97（1100001）
2、非ASCII編碼
英語用128個符號編碼就夠了，可是用來表示其餘語言，128個符號是不夠的。好比，在法語中，字母上方有注音符號，它就沒法用ASCII碼錶示。因而，一些歐洲國家就決定，利用字節中閒置的最高位編入新的符號。好比，法語中的é的編碼爲130（二進制10000010）。這樣一來，這些歐洲國家使用的編碼體系，能夠表示最多256個符號。
可是，這裏又出現了新的問題。不一樣的國家有不一樣的字母，所以，哪怕它們都使用256個符號的編碼方式，表明的字母卻不同。好比，130在法語編碼中表明瞭é，在希伯來語編碼中卻表明了字母Gimel ，在俄語編碼中又會表明另外一個符號。可是無論怎樣，全部這些編碼方式中，0—127表示的符號是同樣的，不同的只是128—255的這一段。
至於亞洲國家的文字，使用的符號就更多了，漢字就多達10萬左右。一個字節只能表示256種符號，確定是不夠的，就必須使用多個字節表達一個符號。好比，簡體中文常見的編碼方式是GB2312，使用兩個字節表示一個漢字，因此理論上最多能夠表示256x256=65536個符號。在C#中若是你想看看某個漢字的GB2312編碼可使用以下代碼：
string s = "梁";
System.Text.Encoding GB2312 = System.Text.Encoding.GetEncoding("GB2312");
byte[] gb = GB2312.GetBytes(s);
這時gb中有兩個數字193（11000001），186（10111010）
3、Unicode
正如上邊所說，世界上存在着多種編碼方式，同一個二進制數字能夠被解釋成不一樣的符號。所以，要想打開一個文本文件，就必須知道它的編碼方式，不然用錯誤的編碼方式解讀，就會出現亂碼。爲何電子郵件經常出現亂碼？就是由於發信人和收信人使用的編碼方式不同。
能夠想象，若是有一種編碼，將世界上全部的符號都歸入其中。每個符號都給予一個獨一無二的編碼，那麼亂碼問題就會消失。這就是Unicode，就像它的名字都表示的，這是一種全部符號的編碼。
Unicode固然是一個很大的集合，如今的規模能夠容納100多萬個符號。每一個符號的編碼都不同。C#中若是你想看看某個漢字的Unicode編碼可使用以下代碼：
string s = "梁";
byte[] unicode = Encoding.Unicode.GetBytes(s);
這時unicode中有兩個數字129（10000001），104（1101000）
4、Unicode的問題
須要注意的是，Unicode只是一個符號集，它只規定了符號的二進制代碼，卻沒有規定這個二進制代碼應該如何存儲。
好比，漢字「梁」的unicode是（110100010000001），也就是說這個符號的表示至少須要2個字節。表示其餘更大的符號，可能須要3個字節或者4個字節，甚至更多。
這裏就有兩個嚴重的問題，第一個問題是，如何才能區別unicode和ascii？計算機怎麼知道三個字節表示一個符號，而不是分別表示三個符號呢？第二個問題是，咱們已經知道，英文字母只用一個字節表示就夠了，若是unicode統一規定，每一個符號用三個或四個字節表示，那麼每一個英文字母前都必然有二到三個字節是0，這對於存儲來講是極大的浪費，文本文件的大小會所以大出二三倍，這是沒法接受的。
它們形成的結果是：1）出現了unicode的多種存儲方式，也就是說有許多種不一樣的二進制格式，能夠用來表示unicode。2）unicode在很長一段時間內沒法推廣，直到互聯網的出現。
5、UTF-8
互聯網的普及，強烈要求出現一種統一的編碼方式。UTF-8就是在互聯網上使用最廣的一種unicode的實現方式。其餘實現方式還包括UTF-16和UTF-32，不過在互聯網上基本不用。重複一遍，這裏的關係是，UTF-8是Unicode的實現方式之一。
UTF-8最大的一個特色，就是它是一種變長的編碼方式。它可使用1~4個字節表示一個符號，根據不一樣的符號而變化字節長度。
UTF-8的編碼規則很簡單，只有二條：
1）對於單字節的符號，字節的第一位設爲0，後面7位爲這個符號的unicode碼。所以對於英語字母，UTF-8編碼和ASCII碼是相同的。
2）對於n字節的符號（n>1），第一個字節的前n位都設爲1，第n+1位設爲0，後面字節的前兩位一概設爲10。剩下的沒有說起的二進制位，所有爲這個符號的unicode碼。

Unicode和UTF-8之間轉換關係
UCS-2編碼 UTF-8字節流
U-00000000 – U-0000007F: 0xxxxxxx
U-00000080 – U-000007FF: 110xxxxx 10xxxxxx
U-00000800 – U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 – U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 – U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 – U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

舉一個例子
咱們使用代碼
string s = "梁";
byte[] unicode = Encoding.Unicode.GetBytes(s);
byte[] utf8 =Encoding.UTF8.GetBytes(s);
用調試器能夠看到

這裏在內存中的數據是由高到低排列的，104十六進制爲68，129十六進制爲81，也就是說"梁"的unicode是十六進制爲6881，二進制爲110100010000001，咱們從上邊的表中能夠查到，6881應該屬於地三行（800-FFFF），所以"梁"的UTF-8編碼須要三個字節即格式是「1110xxxx 10xxxxxx 10xxxxxx」。而後，從「梁」的最後一個二進制位開始，依次從後向前填入格式中的x，多出的位補0。這樣就獲得了，「梁」的UTF-8編碼是「111001101010001010000001」，按沒8位轉換成十進制就是230，162，129。正好和上圖中utf8中的值同樣。
6、C# UTF-8 轉 GB2312
NET中內存中的字符串都是Unicode，因此測試程序在控制檯應用程序下很差寫，請你們根據以下代碼本身來寫吧：

string UTF8ToGb2312(string str)
        {
            string gb2312info = string.Empty;

            Encoding utf8 = Encoding.UTF8;
            Encoding gb2312 = Encoding.GetEncoding("gb2312");

            byte[] unicodeBytes = utf8.GetBytes(str);

            byte[] asciiBytes = Encoding.Convert(utf8, gb2312, unicodeBytes);

            char[] asciiChars = new char[gb2312.GetCharCount(asciiBytes, 0, asciiBytes.Length)];
            gb2312.GetChars(asciiBytes, 0, asciiBytes.Length, asciiChars, 0);
            gb2312info = new string(asciiChars);
            return gb2312info;

        }

7、UTF8優勢
UTF-8是世界通用的語言編碼，若是在其餘語言的操做系統下訪問gb2312編碼的網站，須要下載語言包，因此爲了網站的通用性起見，用UTF8編碼是更好的選擇，可是相比較而言gb2312要比UTF-8獲得的數據量少一些。
8、亂碼問題：
若是在內存、文件或電子郵件中有一個字符串，那麼應該知道它是使用什麼編碼方案，不然就不能將它正確的解釋或顯示給用戶。若是在試圖使用的編碼方案中沒有相應的編碼值得等價內容，那麼一般會顯示一個小問號「？」，或者顯示一個方框。NET中內存中的字符串都是Unicode，而asp.net程序默認是UTF-8編碼，咱們在使用某些字符串時出現了亂碼，咱們首先要判斷是否是咱們解釋用的編碼方式出錯了

來自森大科技官方博客
http://www.cnsendblog.com/index.php/?p=272
GPS平臺、網站建設、軟件開發、系統運維，找森大網絡科技！
http://cnsendnet.taobao.com