Java 中文字符判断

客官°小女子只卖身不卖艺 2022-06-12 02:48 178阅读 0赞

主要摘要自：

###  [http://www.cnblogs.com/zztt/p/3427452.html][http_www.cnblogs.com_zztt_p_3427452.html]  [Java 中文字符判断 中文标点符号判断][http_www.cnblogs.com_zztt_p_3427452.html] ###

[http://blog.csdn.net/chy555chy/article/details/51938914][http_blog.csdn.net_chy555chy_article_details_51938914]  [ASCII (包括Java中2种表示ASCII的方式)][http_blog.csdn.net_chy555chy_article_details_51938914]

https://en.wikipedia.org/wiki/CJK\_Unified\_Ideographs   CJK编码规范

其他相关：

[http://blog.csdn.net/z69183787/article/details/53162015][http_blog.csdn.net_z69183787_article_details_53162015]  [Java 完美判断中文字符][http_blog.csdn.net_z69183787_article_details_53162015]

Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点判断

主要内容：

1. Java Character类介绍；

2. Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系

3. 如何判断汉字及中文标点符号

做中文信息处理，经常会遇到如何判断一个字是否是中文，或者是否是中文的标点符号等。

在Java中，主要使用 Character类处理字符有关功能，而JDK 1.7中Character是按照Unicode 6.0版本实现的，所以这个要先学习下常用的 Unicode编码。

具体的定义、历史等请见 [ wikiwikipedia][wikiwikipedia]

Character 类中有3个静态内部类，

[![image][]][image 1]

其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型，

UnicodeBlock是Unicode标准协会组织unicode码的一个基本单位，实际上一个 UnicodeBlock代表一片连续的Unicode号码段，UnicodeBlock之间不重叠。例如，通常我们利用Unicode编码是否在 0x4E00–0x9FCC 来判断某字符是否为汉字，就是因为，有个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字)，这个UnicodeBlock叫做 CJK Unified Ideographs，总共定义了 74,617 个汉字。

当然还有其他很多UnicodeBlock，例如，对于汉字还有4个扩展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分别都扩展了一些我们平时见都没见过的汉字(如果不是专门的古籍数字化，Unicode字符集中的汉字普通交流够了)

Unicode中一种Script通常就是一个字符或者其他书写符号的集合，代表着一种或多种writing systems （这里暂且翻译为文书类型，文书类型细分可以分成不同语言)。有些Script仅支持一种文字类型，有些可以支持多种，例如 Latin Script 支持 supports[English][],[French][],[German][],[Italian][],[Vietnamese][],[Latin][] 等等，具体可见wikipedia，

http://en.wikipedia.org/wiki/Scripts\_in\_Unicode

UnicodeBlock 与 UnicodeScript 关系：

所以UnicodeScript 是从语言书写规则层次对Unicode字符的分类，这是用使用角度划分，而UnicodeBlock是从硬的编码角度划分。

1. UnicodeBlock是简单的数值范围 (其中可能有些Block中会有一些尚未分配字符的“空号”)。

2. 在一个UnicodeScript中的字符可能分散在多个UnicodeBlock中；

3. 一个UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

另外需要注意的是UnicodeScript实现是在Java 7中新引入的。

具体在编写程序中，可以游2种办法，一是使用 UnicodeBlock，请见代码：

//
       
        使用UnicodeBlock方法判断
       
        
       
        
       
        public
       
        boolean isChineseByBlock(
       
        char
       
        c) { Character.UnicodeBlock ub 
       
        =
       
        Character.UnicodeBlock.of(c); 
       
        if
       
        (ub 
       
        ==
       
        Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) { 
       
        return
       
        
       
        true
       
        ; } 
       
        else
       
        { 
       
        return
       
        
       
        false
       
        ; } }

或者如果使用JDK1.7，那么UnicodeScript方法会更方便，因为UnicodeScript.HAN 包括了上面所列的5个UnicodeBlock：

//
       
        使用UnicodeScript方法判断
       
        
       
        
       
        public
       
        boolean isChineseByScript(
       
        char
       
        c) { Character.UnicodeScript sc 
       
        =
       
        Character.UnicodeScript.of(c); 
       
        if
       
        (sc 
       
        ==
       
        Character.UnicodeScript.HAN) { 
       
        return
       
        
       
        true
       
        ; } 
       
        return
       
        
       
        false
       
        ; }

类似的，扩展开去还可以判别中文标点符号。

因为中文的标点符号主要存在于以下5个UnicodeBlock中，

U2000-General Punctuation (百分号，千分号，单引号，双引号等)

U3000-CJK Symbols and Punctuation ( 顿号，句号，书名号，〸，〹，〺 等；PS: 后面三个字符你知道什么意思吗？ : )    )

UFF00-Halfwidth and Fullwidth Forms ( 大于，小于，等于，括号，感叹号，加，减，冒号，分号等等)

UFE30-CJK Compatibility Forms  (主要是给竖写方式使用的括号，以及间断线﹉，波浪线﹌等)

UFE10-Vertical Forms (主要是一些竖着写的标点符号，    等等)

//
       
        根据UnicodeBlock方法判断中文标点符号
       
        
       
        
       
        public
       
        boolean isChinesePunctuation(
       
        char
       
        c) { Character.UnicodeBlock ub 
       
        =
       
        Character.UnicodeBlock.of(c); 
       
        if
       
        (ub 
       
        ==
       
        Character.UnicodeBlock.GENERAL_PUNCTUATION 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS 
       
        ||
       
        ub 
       
        ==
       
        Character.UnicodeBlock.VERTICAL_FORMS) { 
       
        return
       
        
       
        true
       
        ; } 
       
        else
       
        { 
       
        return
       
        
       
        false
       
        ; } }

预备处理掉英文符号和中文符号：

public
       
        
       
        static
       
        String pre(String text){ StringBuilder sb 
       
        =
       
        
       
        new
       
        StringBuilder(); 
       
        for
       
        (
       
        int
       
        i 
       
        =
       
        
       
        0
       
        ; i 
       
        <
       
        text.length(); i
       
        ++
       
        ) { 
       
        char
       
        ch 
       
        =
       
        text.charAt(i); 
       
        if
       
        ((ch
       
        <
       
        33
       
        
       
        ||
       
        ch
       
        >
       
        47
       
        ) 
       
        ||
       
        
       
        !
       
        isChinesePunctuation(ch)) sb.append(ch); } 
       
        return
       
        sb.toString(); }

测试代码：

public
       
        
       
        static
       
        
       
        void
       
        main(String[] args) { CharClassifier classifier 
       
        =
       
        
       
        new
       
        CharClassifier(); String[] strings 
       
        =
       
        
       
        new
       
        String[]{ 
       
        "
       
        Hello
       
        "
       
        , 
       
        "
       
        你好
       
        "
       
        , 
       
        "
       
        ???
       
        "
       
        , 
       
        "
       
        にほんご
       
        "
       
        , 
       
        "
       
        ???
       
        "
       
        ,
       
        "
       
        ,.?!@#$%^&()
       
        "
       
        , 
       
        "
       
        ，。？！＠＃￥％……＆（）
       
        "
       
        }; 
       
        for
       
        (
       
        int
       
        i 
       
        =
       
        
       
        0
       
        ; i 
       
        <
       
        strings.length; i
       
        ++
       
        ) { String str 
       
        =
       
        strings[i]; System.
       
        out
       
        .println(
       
        "
       
        原字符串为：
       
        "
       
        
       
        +
       
        str); 
       
        char
       
        [] chars 
       
        =
       
        str.toCharArray(); 
       
        if
       
        (i 
       
        <
       
        
       
        5
       
        ) { System.
       
        out
       
        .println(
       
        "
       
        使用0x4E00-0x9FCC范围判断字符是否为汉字：
       
        "
       
        ); 
       
        for
       
        (
       
        char
       
        aChar : chars) { System.
       
        out
       
        .println(aChar 
       
        +
       
        
       
        "
       
        :
       
        "
       
        
       
        +
       
        (classifier.isChineseByRange(String.valueOf(aChar)) 
       
        ?
       
        
       
        "
       
        YES
       
        "
       
        : 
       
        "
       
        NO
       
        "
       
        )); } System.
       
        out
       
        .println(
       
        "
       
        使用UnicodeBlock方法判断字符是否为汉字：
       
        "
       
        ); 
       
        for
       
        (
       
        char
       
        aChar : chars) { System.
       
        out
       
        .println(aChar 
       
        +
       
        
       
        "
       
        :
       
        "
       
        
       
        +
       
        (classifier.isChineseByBlock(aChar) 
       
        ?
       
        
       
        "
       
        YES
       
        "
       
        : 
       
        "
       
        NO
       
        "
       
        )); } System.
       
        out
       
        .println(
       
        "
       
        使用UnicodeScript方法判断字符是否为汉字：
       
        "
       
        ); 
       
        for
       
        (
       
        char
       
        aChar : chars) { System.
       
        out
       
        .println(aChar 
       
        +
       
        
       
        "
       
        :
       
        "
       
        
       
        +
       
        (classifier.isChineseByScript(aChar) 
       
        ?
       
        
       
        "
       
        YES
       
        "
       
        : 
       
        "
       
        NO
       
        "
       
        )); } } 
       
        else
       
        { System.
       
        out
       
        .println(
       
        "
       
        判断是否为中文符号：
       
        "
       
        ); 
       
        for
       
        (
       
        char
       
        aChar : chars) { System.
       
        out
       
        .println(aChar 
       
        +
       
        
       
        "
       
        :
       
        "
       
        
       
        +
       
        (classifier.isChinesePunctuation(aChar) 
       
        ?
       
        
       
        "
       
        YES
       
        "
       
        : 
       
        "
       
        NO
       
        "
       
        )); } } } }

[http_www.cnblogs.com_zztt_p_3427452.html]: http://www.cnblogs.com/zztt/p/3427452.html
[http_blog.csdn.net_chy555chy_article_details_51938914]: http://blog.csdn.net/chy555chy/article/details/51938914
[http_blog.csdn.net_z69183787_article_details_53162015]: http://blog.csdn.net/z69183787/article/details/53162015
[wikiwikipedia]: http://zh.wikipedia.org/zh-cn/Unicode
[image]: /images/20220612/7773610d3d284e6ea3ed925d432cbd94.png
[image 1]: https://img-blog.csdn.net/20170713172830866
[English]: http://en.wikipedia.org/wiki/English_alphabet
[French]: http://en.wikipedia.org/wiki/French_alphabet
[German]: http://en.wikipedia.org/wiki/German_alphabet
[Italian]: http://en.wikipedia.org/wiki/Italian_alphabet
[Vietnamese]: http://en.wikipedia.org/wiki/Vietnamese_language
[Latin]: http://en.wikipedia.org/wiki/Latin_alphabet