mysql utf8mb4與emoji表情

時間 2019-11-09

標籤 mysql utf8mb4 utf emoji 表情欄目 MySQL 简体版

原文原文鏈接

一什麼是Emoji php

emoji就是表情符號；詞義來自日語（えもじ，e-moji，moji在日語中的含義是字符）
　　表情符號現已廣泛應用於手機短信和網絡聊天軟件。
　　emoji表情符號，在外國的手機短信裏面已是很流行使用的一種表情。
　　手機上如何使用emoji：
　　1.iphone、ipad系統：安裝emoji free，再設置-通用-鍵盤-國際鍵盤-添加新的鍵盤，而後把emoji添加在裏面便可在發短信和一些輸入文本的文本框中輸入表情。
　　IOS 5用戶可直接從通用中添加emoji 鍵盤，無需再安裝emoji free
　　2.android系統：安裝「GO輸入法國際版」後，在輸入法裏面點選安裝emoji插件可使用。另外「百度輸入法」也自帶emoji表情
　　3.Windows Phone : 安裝此 Emoji Keys，在其中輸入以後複製粘貼到須要輸入表情的地方便可html

<此段摘自百度百科 http://baike.baidu.com/view/2631589.htm>java

二 Emoji表情符號問題
1 問題：
IOS版本之間發送的Emoji表情符號不兼容，只看到方塊
不一樣IOS版本在數據庫存數據時，有時會發生系統錯誤
2 現象：
IOS 4 輸入Emoji表情符，在IOS5.01 顯示正常，在IOS5.1中（大陸版）顯現爲方塊，但IOS5.01/5.1輸入的表情符號，顯示正常
IOS5.01/5.1 輸入表情符，在IOS5.01/5.1中顯示正常，但在IOS4.X顯示爲方塊
輸入Emoji入帖子正文，可正常存儲。但用戶暱稱在IOS4.X 輸入Emoji，系統正常，而IOS5.01/5.1則提示系統錯誤。
3 本質:
iOS 5 and OS X 10.7 (Lion) use the Unicode 6.0 standard ‘unified’ code points for emoji.
iOS 5 Emoji 採用Unicode 6 標準來統一code points

iOS 4 on SoftBank iPhones used a set of unofficial code points in the Unicode Private Use Area, and so aren't compatible with any other systems
iOS 4 採用SoftBank Unicode，一種非官方的, 採用私有Unicode 區域。
4 舉例:
one emoji symbol "tiger", it is "\U0001f42f" in iOS5, but "\ue050" in earlier iOS version
虎臉Emoji符號在iOS5 爲Unicode：\U0001f42f；而在IOS4.x 爲：\ue050 (SoftBank 編碼)
另外：按理講，從iOS5 應該兼容之前版本的emoji, 但如今出現5.01版本完美兼容（不管大陸版，美版，仍是港版），而5.1 大陸版出現了不兼容現象（騰訊微信也出現了一樣的問題）。
三問題分析
1 系統存儲錯誤問題（如暱稱，帖子內容）
緣由：
因爲IOS5.X 採用新的Unicode，其UTF8 編碼大多爲4個字節，而因爲暱稱/帖子內容column並沒設成utf8mb4，所以存儲會發生錯誤。
解決方法：
將暱稱/帖子內容設成utf8mb4
2 不一樣iOS 之間Emoji 不兼容的問題。
緣由：
iOS 5 到4 不兼容的問題，很簡單，unicode6 和softbank編碼的不一樣
iOS 4 到 5，按理說應該兼容，也就是說，iOS應該自動判斷若是是softbank編碼，自動轉成unicode6。但如今看來， iOS5.1（大陸版）好像只支持unicode6, 而不支持softbank.
解決方法：
客戶端發送emoji-encoding: Softbank或unicode6, 由服務端分別給出相應的編碼表。
四解決方案
1 數據存儲(MySQL varchar 數據類型對UTF8 支持問題)
MYSQL 5.5 以前， UTF8 編碼只支持1-3個字節，從MYSQL5.5開始，可支持4個字節UTF編碼，但要特殊標記。例如咱們的帖子內容項，咱們加上了這個支持。服務端mysql統一存儲爲ios5.x也就是Unicode編碼。
對應alter語句:mysql

ALTER TABLE topic MODIFY COLUMN content varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '內容';

2 編碼轉換:
iphone手機方案
客戶端輸入內容時候，統一存儲爲unicode編碼(這裏須要從softbank編碼轉換爲unicode編碼)。客戶端請求內容的時候，須要根據不一樣的客戶端給出不一樣的編碼,ios4採用softbank編碼作替換,ios5採用unicode編碼直接支持。
android或wp其餘手機方案:
若是沒有emoji表情庫，將沒法輸入。針對輸入問題,將統一採用unicode編碼存儲。客戶端請求內容的時候，將統一用softbank編碼，客戶端須要把emoji表情符號內置到客戶端，作對應的編碼和img替換。
web解決方案:
參考android或wp其餘手機方案
五部分代碼
1 sql代碼android

CREATE TABLE `ios_emoji` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
  `unicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Unicode編碼',
  `utf8` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF8編碼',
  `utf16` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF16編碼',
  `sbunicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'SBUnicode編碼',
  `filename` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '文件名',
  `filebyte` longblob COMMENT '文件內容字節',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='ios表情編碼表';

2 java代碼ios

import java.io.UnsupportedEncodingException;
import org.apache.commons.lang.StringUtils;


public class IOSEmojiUtil {
    
    public static String[] ios5emoji ;
    public static String[] ios4emoji ;
    public static String[] androidnullemoji ;
    public static String[] adsbuniemoji;
    
    public static void initios5emoji(String[] i5emj,String[] i4emj,String[] adnullemoji,String[] adsbemoji){
        ios5emoji = i5emj;
        ios4emoji = i4emj;
        androidnullemoji = adnullemoji;
        adsbuniemoji = adsbemoji;
    }
    
    //在ios上將ios5轉換爲ios4編碼
    public static String transToIOS4emoji(String src) {
        return StringUtils.replaceEach(src, ios5emoji, ios4emoji);
    }
    //在ios上將ios4轉換爲ios5編碼
    public static String transToIOS5emoji(String src) {
        return StringUtils.replaceEach(src, ios4emoji, ios5emoji);
    }
    //在android上將ios5的表情符替換爲空
    public static String transToAndroidemojiNull(String src) {
        return StringUtils.replaceEach(src, ios5emoji, androidnullemoji);
    }
    
    //在android上將ios5的表情符替換爲SBUNICODE
    public static String transToAndroidemojiSB(String src) {
        return StringUtils.replaceEach(src, ios5emoji, adsbuniemoji);
    }
    
    //在android上將SBUNICODE的表情符替換爲ios5
    public static String transSBToIOS5emoji(String src) {
        return StringUtils.replaceEach(src, adsbuniemoji, ios5emoji);
    }
    
    //eg. param: 0xF0 0x9F 0x8F 0x80
    public static String hexstr2String(String hexstr) throws UnsupportedEncodingException{
        byte[] b = hexstr2bytes(hexstr);
        return new String(b, "UTF-8");
    }
    
    //eg. param: E018
    public static String sbunicode2utfString(String sbhexstr) throws UnsupportedEncodingException{
        byte[] b = sbunicode2utfbytes(sbhexstr);
        return new String(b, "UTF-8");
    }
    
    //eg. param: 0xF0 0x9F 0x8F 0x80
    public static byte[] hexstr2bytes(String hexstr){
        String[] hexstrs = hexstr.split(" ");
        byte[] b = new byte[hexstrs.length];
        
        for(int i=0;i<hexstrs.length;i++){
            b[i] = hexStringToByte(hexstrs[i].substring(2))[0];
        }
        return b;
    }
    
    //eg. param: E018
    public static byte[] sbunicode2utfbytes(String sbhexstr) throws UnsupportedEncodingException{
        int inthex = Integer.parseInt(sbhexstr, 16);
        char[] schar = {(char)inthex};
        byte[] b = (new String(schar)).getBytes("UTF-8");
        return b;
    }
    
    public static byte[] hexStringToByte(String hex) {
        int len = (hex.length() / 2);
        byte[] result = new byte[len];
        char[] achar = hex.toCharArray();
        for (int i = 0; i < len; i++) {
            int pos = i * 2;
            result[i] = (byte) (toByte(achar[pos]) << 4 | toByte(achar[pos + 1]));
        }
        return result;
    }


    private static byte toByte(char c) {
        byte b = (byte) "0123456789ABCDEF".indexOf(c);
        return b;
    }
    
    public static void main(String[] args) throws UnsupportedEncodingException {
        // TODO Auto-generated method stub
        byte[] b1 = {-30,-102,-67}; //ios5 //0xE2 0x9A 0xBD        
        byte[] b2 = {-18,-128,-104}; //ios4 //"E018"
        
        //-------------------------------------
        
        byte[] b3 = {-16,-97,-113,-128};    //0xF0 0x9F 0x8F 0x80        
        byte[] b4 = {-18,-112,-86};         //E42A    
        
        
        ios5emoji = new String[]{new String(b1,"utf-8"),new String(b3,"utf-8")};
        ios4emoji = new String[]{new String(b2,"utf-8"),new String(b4,"utf-8")};    
        
        
        //測試字符串
        byte[] testbytes = {105,111,115,-30,-102,-67,32,36,-18,-128,-104,32,36,-16,-97,-113,-128,32,36,-18,-112,-86};
        String tmpstr = new String(testbytes,"utf-8");
        System.out.println(tmpstr);
        
        
        //轉成ios4的表情
        String ios4str = transToIOS5emoji(tmpstr);
        byte[] tmp = ios4str.getBytes();
        //System.out.print(new String(tmp,"utf-8"));        
        for(byte b:tmp){
            System.out.print(b);
            System.out.print(" ");
        }
    }
    
}

六參考資料
1 Emoji 全編碼表：(我參考的這個)
http://punchdrunker.github.com/iOSEmoji/table_html/flower.html
2 Emoji全編碼表
http://code.iamcal.com/php/emoji/

3 iOS5/4 Emoji 兼容性：
http://stackoverflow.com/questions/7856775/how-to-convert-the-old-emoji-encoding-to-the-latest-encoding-in-ios5
4 MySQL emoji問題
http://dropblood.com/archives/ios-mysql-emoji
5 Emoji 中文對應表
http://www.iapps.im/wp-content/uploads/2012/02/emoji-pinyin.png?r=010git

七下載資源 github

emoji圖片和編碼表 http://download.csdn.net/detail/qdkfriend/4309051web

包括emoji文件表,emoji數據編碼表(Unicode編碼,UTF8編碼,UTF16編碼,SBUnicode編碼)sql