Java 中文字符判斷 中文標點符號判斷

時間  2019-12-01
標籤 java 中文 字符 判斷 標點符號 欄目 Java 简体版
原文   原文鏈接

Java Character 實現Unicode字符集介紹  CJK中文字符和中文標點判斷html

主要內容：java

1. Java Character類介紹；api

2. Unicode 簡介及 UnicodeBlock 與 UnicodeScript區別和聯繫oracle

3. 如何判斷漢字及中文標點符號學習

 

作中文信息處理，常常會遇到如何判斷一個字是不是中文，或者是不是中文的標點符號等。測試

在Java中，主要使用 Character類處理字符有關功能，而JDK 1.7中Character是按照Unicode 6.0版本實現的，因此這個要先學習下經常使用的 Unicode編碼。this

具體的定義、歷史等請見 wikiwikipedia編碼

Character 類中有3個靜態內部類，spa

Modifier and Type http://http://www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1Class and Description
static class  Character.Subset
Instances of this class represent particular subsets of the Unicode character set.
static class  Character.UnicodeBlock
A family of character subsets representing the character blocks in the Unicode specification.
static class  Character.UnicodeScript
A family of character subsets representing the character scripts defined in the Unicode Standard Annex #24: Script Names.

 

其中的UnicodeBlock 和 UnicodeScript類能夠幫助咱們判斷字符類型，翻譯

UnicodeBlock是Unicode標準協會組織unicode碼的一個基本單位，實際上一個 UnicodeBlock表明一片連續的Unicode號碼段，UnicodeBlock之間不重疊。例如，一般咱們利用Unicode編碼是否在 0x4E00–0x9FCC 來判斷某字符是否爲漢字，就是由於，有個UnicodeBlock 專門劃分爲存儲漢字 (準確的說是 CJK統一漢字)，這個UnicodeBlock叫作 CJK Unified Ideographs，總共定義了 74,617 個漢字。

固然還有其餘不少UnicodeBlock，例如，對於漢字還有4個擴展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分別都擴展了一些咱們平時見都沒見過的漢字(若是不是專門的古籍數字化，Unicode字符集中的漢字普通交流夠了)

 

Unicode中一種Script一般就是一個字符或者其餘書寫符號的集合，表明着一種或多種writing systems （這裏暫且翻譯爲文書類型，文書類型細分能夠分紅不一樣語言)。有些Script僅支持一種文字類型，有些能夠支持多種，例如 Latin Script 支持 supports English, French, German, Italian, Vietnamese, Latin 等等，具體可見wikipedia，

http://en.wikipedia.org/wiki/Scripts_in_Unicode

 

UnicodeBlock 與 UnicodeScript 關係：

因此UnicodeScript 是從語言書寫規則層次對Unicode字符的分類，這是用使用角度劃分，而UnicodeBlock是從硬的編碼角度劃分。

1. UnicodeBlock是簡單的數值範圍 (其中可能有些Block中會有一些還沒有分配字符的「空號」)。

2. 在一個UnicodeScript中的字符可能分散在多個UnicodeBlock中；

3. 一個UnicodeBlock中的字符可能會被划進多個UnicodeScript中。

 

另外須要注意的是UnicodeScript實現是在Java 7中新引入的。

 

具體在編寫程序中，能夠遊2種辦法，一是使用 UnicodeBlock，請見代碼：

    //使用UnicodeBlock方法判斷
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }

 

或者若是使用JDK1.7，那麼UnicodeScript方法會更方便，由於UnicodeScript.HAN 包括了上面所列的5個UnicodeBlock：

    //使用UnicodeScript方法判斷
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

 

 

相似的，擴展開去還能夠判別中文標點符號。

由於中文的標點符號主要存在於如下5個UnicodeBlock中，

U2000-General Punctuation (百分號，千分號，單引號，雙引號等)

U3000-CJK Symbols and Punctuation ( 頓號，句號，書名號，〸，〹，〺 等；PS: 後面三個字符你知道什麼意思嗎？ : )    )

UFF00-Halfwidth and Fullwidth Forms ( 大於，小於，等於，括號，感嘆號，加，減，冒號，分號等等)

UFE30-CJK Compatibility Forms  (主要是給豎寫方式使用的括號，以及間斷線﹉，波浪線﹌等)

UFE10-Vertical Forms (主要是一些豎着寫的標點符號，    等等)

    // 根據UnicodeBlock方法判斷中文標點符號
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

 

最後上測試代碼：

import java.util.regex.Pattern;

/**
 * author: Tong
 * Date: 11/16/13
 * Time: 10:42 PM
 */
public class CharClassifier {

    public static void main(String[] args) {
        CharClassifier classifier = new CharClassifier();
        String[] strings = new String[]{"Hello", "你好", "㐀㐂㐄", "にほんご", "조선어",",.?!@#$%^&()", "，。？！＠＃￥％……＆（）"};

        for (int i = 0; i < strings.length; i++) {
            String str = strings[i];
            System.out.println("原字符串爲：" + str);
            char[] chars = str.toCharArray();

            if (i < 5) {
                System.out.println("使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByRange(String.valueOf(aChar)) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeBlock方法判斷字符是否爲漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByBlock(aChar) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeScript方法判斷字符是否爲漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByScript(aChar) ? "YES" : "NO"));
                }
            } else {
                System.out.println("判斷是否爲中文符號：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChinesePunctuation(aChar) ? "YES" : "NO"));
                }

            }
        }
    }

    //使用UnicodeBlock方法判斷
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }


    //使用UnicodeScript方法判斷
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

    // 根據UnicodeBlock方法判斷中文標點符號
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

    // 使用Unicode編碼範圍來判斷漢字；這個方法不許確,由於還有不少漢字不在這個範圍以內
    public boolean isChineseByRange(String str) {
        if (str == null) {
            return false;
        }
        Pattern pattern = Pattern.compile("[\\u4E00-\\u9FCC]+");
        return pattern.matcher(str.trim()).find();
    }

}

 

程序輸出：

原字符串爲：Hello
使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeBlock方法判斷字符是否爲漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeScript方法判斷字符是否爲漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
原字符串爲：你好
使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：
你:YES
好:YES
使用UnicodeBlock方法判斷字符是否爲漢字：
你:YES
好:YES
使用UnicodeScript方法判斷字符是否爲漢字：
你:YES
好:YES
原字符串爲：㐀㐂㐄
使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：
㐀:NO
㐂:NO
㐄:NO
使用UnicodeBlock方法判斷字符是否爲漢字：
㐀:YES
㐂:YES
㐄:YES
使用UnicodeScript方法判斷字符是否爲漢字：
㐀:YES
㐂:YES
㐄:YES
原字符串爲：にほんご
使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeBlock方法判斷字符是否爲漢字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeScript方法判斷字符是否爲漢字：
に:NO
ほ:NO
ん:NO
ご:NO
原字符串爲：조선어
使用0x4E00-0x9FCC範圍判斷字符是否爲漢字：
조:NO
선:NO
어:NO
使用UnicodeBlock方法判斷字符是否爲漢字：
조:NO
선:NO
어:NO
使用UnicodeScript方法判斷字符是否爲漢字：
조:NO
선:NO
어:NO
原字符串爲：,.?!@#$%^&()
判斷是否爲中文符號：
,:NO
.:NO
?:NO
!:NO
@:NO
#:NO
$:NO
%:NO
^:NO
&:NO
(:NO
):NO
原字符串爲：，。？！＠＃￥％……＆（）
判斷是否爲中文符號：
，:YES
。:YES
？:YES
！:YES
＠:YES
＃:YES
￥:YES
％:YES
…:YES
…:YES
＆:YES
（:YES
）:YES
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程