Ansj分词

- 日理万妓 2022-10-14 10:54 97阅读 0赞

### Ansj分词 ###

*   *   *  1.参考文档
         *  2.介绍
         *  3.demo
         *  4.自定义用户词典

### 1.参考文档 ###

[使用手册][Link 1]

[github][]

[git文档地址（最新）][git]

[项目的文档地址（有点旧）][Link 1]

### 2.介绍 ###

是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化
    
    内存中中文分词每秒钟大约100万字(速度上已经超越ictclas)
    
    文件读取分词每秒钟大约30万字
    
    准确率能达到96%以上
    
    目前实现了.中文分词. 中文姓名识别 . 用户自定义词典
    
    可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.

### 3.demo ###

import org.ansj.domain.Result;
    import org.ansj.domain.Term;
    import org.ansj.splitWord.analysis.ToAnalysis;
     
    import java.util.*;
     
    public class AnsjTest { 
     
        public static void test() { 
            //只关注这些词性的词
            Set<String> expectedNature = new HashSet<String>() { { 
                add("n");add("v");add("vd");add("vn");add("vf");
                add("vx");add("vi");add("vl");add("vg");
                add("nt");add("nz");add("nw");add("nl");
                add("ng");add("userDefine");add("wh");
            }};
            String str = "欢迎使用ansj_seg,(ansj中文分词)在这里如果你遇到什么问题都可以联系我.我一定尽我所能.帮助大家.ansj_seg更快,更准,更自由!" ;
            Result result = ToAnalysis.parse(str); //分词结果的一个封装，主要是一个List<Term>的terms
            System.out.println(result.getTerms());
     
            List<Term> terms = result.getTerms(); //拿到terms
            System.out.println(terms.size());
     
            for(int i=0; i<terms.size(); i++) { 
                String word = terms.get(i).getName(); //拿到词
                String natureStr = terms.get(i).getNatureStr(); //拿到词性
                if(expectedNature.contains(natureStr)) { 
                    System.out.println(word + ":" + natureStr);
                }
            }
        }
     
        public static void main(String[] args) { 
            test();
        }
    }

### 4.自定义用户词典 ###

![分词][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70]

1、在项目目录/src/main/resources下创建文件夹library，并在该文件夹下添加userLibrary.dic文件：  
userLibrary.dic文件中，自定义字典格式为：

这是  r  1000
    一个 r  1000
    西红柿女郎 r  1000

其中 r表示当前词语的词性，1000为词频，可自行设置。

注意：
    1）、词典各字段之间使用tab(\t)分割，如“这是  r  1000”三个字段之间的间隔是一个tab分隔符。
    2）、词性需小写（如n）。

2、在项目目录/src/main/resources下创建文件library.properties，并设置内容

userLibrary=/library/userLibrary.dic
    isRealName=true

3、在运行文件中修改方法：

orest = Library.makeForest(AnsjUtils.class.getResourceAsStream("/library/userLibrary.dic"));
    Result result = NlpAnalysis.parse(str, forest);

endind…  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 1]

[Link 1]: http://nlpchina.github.io/ansj_seg/
[github]: https://github.com/NLPchina/ansj_seg
[git]: https://github.com/NLPchina/ansj_seg/wiki
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70]: /images/20221014/e884521d23404d10bf2abe30b8480015.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 1]: /images/20221014/bd51ebada72b4d16b14845a1d2e98e81.png