mysql建數據庫的字符集與排序規則

時間 2019-11-08

標籤 mysql 數據庫字符集排序規則欄目 MySQL 简体版

原文原文鏈接

詳見：https://www.cnblogs.com/LMIx/p/10791742.htmlphp

1.字符集說明：html

通常選擇utf8.下面介紹一下utf8與utfmb4的區別。

utf8mb4兼容utf8，且比utf8能表示更多的字符。至於何時用，看你的作什麼項目了，到 http://blog.csdn.net/leelyliu/article/details/52879685

看unicode編碼區從1 ～ 126就屬於傳統utf8區，固然utf8mb4也兼容這個區，126行如下就是utf8mb4擴充區，何時你須要存儲那些字符，你才用utf8mb4,不然只是浪費空間。

1. 【0020-007F】 Basic Latin 基本拉丁字母

2. 【00A0-00FF】 Latin-1 Supplement 拉丁字母補充-1

3. 【0100-017F】 Latin Extended-A 拉丁字母擴充-A

4. 【0180-023F】 Latin Extended-B 拉丁字母擴充-B

5. 【0250-02AF】 IPA Extensions 國際音標擴充

6. 【02B0-02EF】 Spacing Modifier Letters 進格修飾字符

7. 【0300-036F】 Combining Diacritical Marks 組合音標附加符號

8. 【0370-03FF】 Greek and Coptic 希臘字母

9. 【0400-04FF】 Cyrillic 西裏爾字母

10. 【0500-052F】 Cyrillic Supplement 西裏爾字母補充

11. 【0530-058F】 Armenian 亞美尼亞文

12. 【0590-05FF】 Hebrew 希伯來文

13. 【0600-06FF】 Arabic 基本阿拉伯文

14. 【0700-074F】 Syriac 敘利亞文

15. 【0750-077F】 Arabic Supplement 阿拉伯文補充

16. 【0780-07BF】 Thaana 塔納文

17. 【07C0-07FF】 N'Ko

18. 【0900-097F】 Devanagari 天城體梵文字母

19. 【0980-09FF】 Bengali 孟加拉國文

20. 【0A00-0A7F】 Gurmukhi 古爾穆基文

21. 【0A80-0AFF】 Gujarati 古吉拉特文

22. 【0B00-0B7F】 Oriya 奧里亞文

23. 【0B80-0BFF】 Tamil 泰米爾文

24. 【0C00-0C7F】 Telugu 泰盧固文

25. 【0C80-0CFF】 Kannada 卡納達文

26. 【0D00-0D7F】 Malayalam 馬拉亞拉姆文

27. 【0D80-0DFF】 Sinhala 僧伽羅文

28. 【0E00-0E7F】 Thai 泰文

29. 【0E80-0EFF】 Lao 老撾文；寮國文

30. 【0F00-0FFF】 Tibetan 藏文

31. 【1000-109F】 Myanmar 緬甸文

32. 【10A0-10FF】 Georgian 格魯吉亞文

33. 【1100-11FF】 Hangul Jamo 諺文字母

34. 【1200-137F】 Ethiopic 埃塞俄比亞文

35. 【1380-139F】 Ethiopic Supplement 埃塞俄比亞文補充

36. 【13A0-13FF】 Cherokee 切羅基文

37. 【1400-167F】 Unified Canadian Aboriginal Syllabics 加拿大土著統一音節文字

38. 【1680-169F】 Ogham 歐甘文

39. 【16A0-16FF】 Runic 北歐古文

40. 【1700-171F】 Tagalog 他加祿文

41. 【1720-173F】 Hanunoo 哈努諾文

42. 【1740-175F】 Buhid 布什德文

43. 【1760-177F】 Tagbanwa 塔格巴努亞文

44. 【1780-17FF】 Khmer 高棉文

45. 【1800-18AF】 Mongolian 蒙古文

46. 【1900-194F】 Limbu 林布文

47. 【1950-197F】 Tai Le 傣哪文；德宏傣文

48. 【1980-19DF】 New Tai Lue 新傣仂文

49. 【19E0-19FF】 Khmer Symbols 高棉符號

50. 【1A00-1A1F】 Buginese 布吉文

51. 【1B00-1B7F】 Balinese 巴利文

52. 【1D00-1D7F】 Phonetic Extensions 音標擴充

53. 【1D80-1DBF】 Phonetic Extensions Supplement 音標擴充補充

54. 【1DC0-1DFF】 Combining Diacritical Marks Supplement 組合音標附加符號

55. 【1E00-1EFF】 Latin Extended Additional 拉丁字母擴充附加

56. 【1F00-1FFF】 Greek Extended 希臘文擴充

57. 【2000-206F】 General Punctuation 通常標點符號

58. 【2070-209F】 Superscripts and Subscripts 下標及上標

59. 【20A0-20CF】 Currency Symbols 貨幣符號

60. 【20D0-20FF】 Combining Diacritical Marks for Symbols 符號用組合附加符號

61. 【2100-214F】 Letterlike Symbols 似字母符號

62. 【2150-218F】 Number Forms 數字形式

63. 【2190-21FF】 Arrows 箭頭符號

64. 【2200-22FF】 Mathematical Operators 數學運算符號

65. 【2300-23FF】 Miscellaneous Technical 混合專門符號

66. 【2400-243F】 Control Pictures 控制圖像

67. 【2440-245F】 Optical Character Recognition 光學字符識別

68. 【2460-24FF】 Enclosed Alphanumerics 括號字母數字

69. 【2500-257F】 Box Drawing 製表符

70. 【2580-259F】 Block Elements 區塊組件

71. 【25A0-25FF】 Geometric Shapes 幾何形狀

72. 【2600-26FF】 Miscellaneous Symbols 混合什錦符號

73. 【2700-27BF】 Dingbats 什錦符號

74. 【27C0-27EF】 Miscellaneous Mathematical Symbols-A 混合數學符號-A

75. 【27F0-27FF】 Supplemental Arrows-A 補充性箭頭符號-A

76. 【2800-28FF】 Braille Patterns 盲文；盲人點字

77. 【2900-297F】 Supplemental Arrows-B 補充性箭頭符號-B

78. 【2980-29FF】 Miscellaneous Mathematical Symbols-B 混合數學符號-B

79. 【2A00-2AFF】 Supplemental Mathematical Operators 補充性數學運算符號

80. 【2B00-2BFF】 Miscellaneous Symbols and Arrows 混合什錦符號和箭頭符號

81. 【2C00-2C5F】 Glagolitic 格拉戈爾字母

82. 【2C60-2C7F】 Latin Extended-C 拉丁字母擴充-C

83. 【2C80-2CFF】 Coptic 科普特文

84. 【2D00-2D2F】 Georgian Supplement 格魯吉亞文補充

85. 【2D30-2D7F】 Tifinagh 提非納格字母

86. 【2D80-2DDF】 Ethiopic Extended 埃塞俄比亞文擴充

87. 【2E00-2E7F】 Supplemental Punctuation 補充性標點符號

88. 【2E80-2EFF】 CJK Radicals Supplement 中日韓部首補充

89. 【2F00-2FDF】 Kangxi Radicals 康熙部首

90. 【2FF0-2FFF】 Ideographic Description Characters 漢字結構描述字符

91. 【3000-303F】 CJK Symbols and Punctuation 中日韓符號和標點

92. 【3040-309F】 Hiragana 平假名

93. 【30A0-30FF】 Katakana 片假名

94. 【3100-312F】 Bopomofo 注音符號

95. 【3130-318F】 Hangul Compatibility Jamo 諺文兼容字母

96. 【3190-319F】 Kanbun 漢文標註號

97. 【31A0-31BF】 Bopomofo Extended 注音符號擴充

98. 【31C0-31EF】 CJK Strokes 中日韓筆畫部件

99. 【31F0-31FF】 Katakana Phonetic Extensions 片假名音標擴充

100.【3200-32FF】 Enclosed CJK Letters and Months 中日韓括號字母及月份

101.【3300-33FF】 CJK Compatibility 中日韓兼容字符

102.【3400-4DBF】 CJK Unified Ideographs Extension A 中日韓統一表意文字擴充A

103.【4DC0-4DFF】 Yijing Hexagram Symbols 易經六十四卦象

104.【4E00-9FFF】 CJK Unified Ideographs 中日韓統一表意文字

105.【A000-A48F】 Yi Syllables 彝文音節

106.【A490-A4CF】 Yi Radicals 彝文字母

107.【A700-A71F】 Modifier Tone Letters 聲調符號

108.【A720-A7FF】 Latin Extended-D 拉丁字母擴充-D

109.【A800-A82F】 Syloti Nagri

110.【A840-A87F】 Phags-pa 八思巴字母

111.【AC00-D7AF】 Hangul Syllables 諺文音節

112.【D800-DB7F】 High Surrogates 高半代用區

113.【DB80-DBFF】 High Private Use Surrogates 高半專用代用區

114.【DC00-DFFF】 Low Surrogates 低半代用區

115.【E000-F8FF】 Private Use Area 專用區

116.【F900-FAFF】 CJK Compatibility Ideographs 中日韓兼容表意文字

117.【FB00-FB4F】 Alphabetic Presentation Forms 字母變體顯現形式

118.【FB50-FDFF】 Arabic Presentation Forms-A 阿拉伯文變體顯現形式-A

119.【FE00-FE0F】 Variation Selectors 字型變換選取器

120.【FE10-FE1F】 Vertical Forms 豎式標點

121.【FE20-FE2F】 Combining HalF】 Marks 組合半角標示

122.【FE30-FE4F】 CJK Compatibility Forms 中日韓相容形式

123.【FE50-FE6F】 Small Form Variants 小寫變體

124.【FE70-FEFF】 Arabic Presentation Forms-B 阿拉伯文變體顯現形式-B

125.【FF00-FFEF】 Halfwidth and Fullwidth Forms 半角及全角字符

126.【FFF0-FFFF】 Specials 特殊區域

127.【10000-1007F】 Linear B Syllabary 線形文字B音節文字

128.【10080-100FF】 Linear B Ideograms 線形文字B表意文字

129.【10100-1013F】 Aegean Numbers 愛琴數字

130.【10140-1018F】 Ancient Greek Numbers 古希臘數字

131.【10300-1032F】 Old Italic 古意大利文

132.【10330-1034F】 Gothic 哥特文

133.【10380-1039F】 Ugaritic 烏加里特楔形文字

134.【103A0-103DF】 Old Persian 古波斯文

135.【10400-1044F】 Deseret 猶他大學音標

136.【10450-1047F】 Shavian 肅伯納字母

137.【10480-104AF】 Osmanya

138.【10800-1083F】 Cypriot Syllabary 塞浦路斯音節文字

139.【10900-1091F】 Phoenician 腓尼基字母

140.【10A00-10A5F】 Kharoshthi 佉盧字母

141.【12000-123FF】 Cuneiform 楔形文字

142.【12400-1247F】 Cuneiform Numbers and Punctuation 楔形文字數字及標點

143.【1D000-1D0FF】 Byzantine Musical Symbols 東正教音樂符號

144.【1D100-1D1FF】 Musical Symbols 音樂符號

145.【1D200-1D24F】 Ancient Greek Musical Notation 古希臘音曲譜記號

146.【1D300-1D35F】 Tai Xuan Jing Symbols 太玄經符號

147.【1D360-1D37F】 Counting Rod Numerals 算籌記數式

148.【1D400-1D7FF】 Mathematical Alphanumeric Symbols 數學用字母數字符號

149.【20000-2A6DF】 CJK Unified Ideographs Extension B 中日韓統一表意文字擴充B

150.【2F800-2FA1F】 CJK Compatibility Ideographs Supplement 中日韓兼容表意文字補充

151.【E0000-E007F】 Tags 語言編碼卷標

152.【E0100-E01EF】 Variation Selectors Supplement 字型變換選取器補充

153.【FFF80-FFFFF】 Supplementary Private Use Area-A 補充專用區-A

154.【10FF80-10FFFF】 Supplementary Private Use Area-B 補充專用區-B

2.排序說明mysql

排序通常分爲兩種：utf_bin和utf_general_ci

bin 是二進制, a 和 A 會別區別對待.

例如你運行:

SELECT * FROM table WHERE txt = 'a'

那麼在utf8_bin中你就找不到 txt = 'A' 的那一行, 而 utf8_general_ci 則能夠.

utf8_general_ci 不區分大小寫，這個你在註冊用戶名和郵箱的時候就要使用。

utf8_general_cs 區分大小寫，若是用戶名和郵箱用這個就會照成不良後果

utf8_bin:字符串每一個字符串用二進制數據編譯存儲。區分大小寫，並且能夠存二進制的內容

utf8_unicode_ci和utf8_general_ci對中、英文來講沒有實質的差異。

utf8_general_ci校對速度快，但準確度稍差。（準確度夠用，通常建庫選擇這個）

utf8_unicode_ci準確度高，但校對速度稍慢

Mysql中utf8_general_ci與utf8_unicode_ci有什麼區別呢？在編程語言中，一般用unicode對中文字符作處理，防止出現亂碼，那麼在MySQL裏，爲何你們都使用utf8_general_ci而不是utf8_unicode_ci呢？

1、官方文檔說明
下面摘錄一下Mysql 5.1中文手冊中關於utf8_unicode_ci與utf8_general_ci的說明：linux

     當前，utf8_unicode_ci校對規則僅部分支持Unicode校對規則算法。一些字符仍是不能支持。而且，不能徹底支持組合的記號。這主要影響越南和俄羅斯的一些少數民族語言，如：Udmurt 、Tatar、Bashkir和Mari。

     utf8_unicode_ci的最主要的特點是支持擴展，即當把一個字母看做與其它字母組合相等時。例如，在德語和一些其它語言中‘ß'等於‘ss'。

     utf8_general_ci是一個遺留的 校對規則，不支持擴展。它僅可以在字符之間進行逐個比較。這意味着utf8_general_ci校對規則進行的比較速度很快，可是與使用utf8_unicode_ci的 校對規則相比，比較正確性較差）。

     例如，使用utf8_general_ci和utf8_unicode_ci兩種 校對規則下面的比較相等：
     Ä = A
     Ö = O
     Ü = U

     兩種校對規則之間的區別是，對於utf8_general_ci下面的等式成立：
     ß = s

     可是，對於utf8_unicode_ci下面等式成立：
     ß = ss

     對於一種語言僅當使用utf8_unicode_ci排序作的很差時，才執行與具體語言相關的utf8字符集 校對規則。例如，對於德語和法語，utf8_unicode_ci工做的很好，所以再也不須要爲這兩種語言建立特殊的utf8校對規則。

     utf8_general_ci也適用與德語和法語，除了‘ß'等於‘s'，而不是‘ss'以外。若是你的應用可以接受這些，那麼應該使用utf8_general_ci，由於它速度快。不然，使用utf8_unicode_ci，由於它比較準確。

若是你想使用gb2312編碼,那麼建議你使用latin1做爲數據表的默認字符集,這樣就能直接用中文在命令行工具中插入數據,而且能夠直接顯示出來.而不要使用gb2312或者gbk等字符集,若是擔憂查詢排序等問題,可使用binary屬性約束,例如:算法

create table my_table ( name varchar(20) binary not null default '')type=myisam default charset latin1;

2、簡短總結
utf8_unicode_ci和utf8_general_ci對中、英文來講沒有實質的差異。
utf8_general_ci校對速度快，但準確度稍差。
utf8_unicode_ci準確度高，但校對速度稍慢。sql

若是你的應用有德語、法語或者俄語，請必定使用utf8_unicode_ci。通常用utf8_general_ci就夠了，到如今也沒發現問題。。。數據庫

3、詳細總結編程

一、對於一種語言僅當使用utf8_unicode_ci排序作的很差時，才執行與具體語言相關的utf8字符集校對規則。例如，對於德語和法語，utf8_unicode_ci工做的很好，所以再也不須要爲這兩種語言建立特殊的utf8校對規則。
二、utf8_general_ci也適用與德語和法語，除了‘?'等於‘s'，而不是‘ss'以外。若是你的應用可以接受這些，那麼應該使用 utf8_general_ci，由於它速度快。不然，使用utf8_unicode_ci，由於它比較準確。編程語言

用一句話概況上面這段話：utf8_unicode_ci比較準確，utf8_general_ci速度比較快。一般狀況下 utf8_general_ci的準確性就夠咱們用的了，在我看過不少程序源碼後，發現它們大多數也用的是utf8_general_ci，因此新建數據庫時通常選用utf8_general_ci就能夠了工具

4、如何在MySQL5.0中使用UTF8
在 my.cnf中增長下列參數

[mysqld]
init_connect='SET NAMES utf8′
default-character-set=utf8
default-collation = utf8_general_ci

執行查詢 mysql> show variables; 相關以下:

character_set_client | utf8 
character_set_connection | utf8 
character_set_database | utf8 
character_set_results | utf8 
character_set_server | utf8 
character_set_system | utf8

collation_connection | utf8_general_ci 
collation_database | utf8_general_ci 
collation_server | utf8_general_ci

我的看法，對於數據庫的使用，utf8 - general 已經足夠的準確，而且相較與 utf8 - unicode速度上有優點，固可放心採用之

附1：舊數據升級辦法
以原來的字符集爲latin1爲例，升級成爲utf8的字符集。原來的表: old_table (default charset=latin1)，新表：new_table(default charset=utf8)。

第一步：導出舊數據

mysqldump --default-character-set=latin1 -hlocalhost -uroot -B my_db --tables old_table > old.sql

第二步：轉換編碼(相似unix/linux環境下)

iconv -t utf-8 -f gb2312 -c old.sql > new.sql

或者能夠去掉 -f 參數，讓iconv自動判斷原來的字符集

iconv -t utf-8 -c old.sql > new.sql

在這裏，假定原來的數據默認是gb2312編碼。
第三步：導入
修改old.sql，在插入/更新語句開始以前，增長一條sql語句： "SET NAMES utf8;"，保存

mysql -hlocalhost -uroot my_db < new.sql

大功告成！！

附2：支持查看utf8字符集的MySQL客戶端有1.) MySQL-Front，聽說這個項目已經被MySQL AB勒令中止了，不知爲什麼，若是國內還有很多破解版能夠下載（不表明我推薦使用破解版 :-P）。2.) Navicat，另外一款很是不錯的MySQL客戶端，漢化版剛出來，還邀請我試用過，總的來講仍是不錯的，不過也須要付費。3.) PhpMyAdmin，開源的php項目，很是好。4.) Linux下的終端工具（Linux terminal），把終端的字符集設置爲utf8，鏈接到MySQL以後，執行 SET NAMES UTF8; 也能讀寫utf8數據了。