stanford CoreNLP 命名实体识别NER学习笔记

傷城~ 2022-06-13 10:37 567阅读 0赞

# 简介 #

识别文本的命名实体，如人名和机构名称等。每种语言识别出的实体是相互独立的，英文的识别集合比其他语言更为丰富。再NERClassifierCombiner中，会执行多个命名实体识别，然后将结果组合起来。

# 识别类别 #

在英文中，命名实体识别能识别的名字包括：人名、地名、机构名、MISC；数字：钱、数字、序号、百分比；时间：日期，时间、持续序列、集合等实体。命名实体的识别使用组合的三个CRF标注序列在不同语料上训练的，如ACE和MUC评测会议的评测语料。数字实体识别使用基于规则的系统实现，同时，数字实体需要进行规范化，如dates，被规范化为NormalizedNamedEntityTagAnnotation.

CoreNLP 的中文命名实体识别NER模块，基于CRF模型实现。

# 调用方法 #

//设置自己存放模型的地址
    String basedir = "D:/WorkSpaceIntelliJ/coreNLP/Stanfordnlp-CoreNLP-master/data/models/";
    
     CRFClassifier<CoreLabel> classifier = new CRFClassifier<>();
    classifier.loadClassifierNoExceptions(basedir + "ner/chinese.misc.distsim.crf.ser.gz");
     List<List<CoreLabel>> out = classifier.classify("我 和 李刚 在 中国 北京大学 的 图书馆。");
     for (List<CoreLabel> sentence : out) {
       for (CoreLabel word : sentence) {
         System.out.print(word.word() + '/' + word.get(CoreAnnotations.AnswerAnnotation.class) + ' ');
       }
       System.out.println();
     }

# 模型的主要内容包括 #

## 1.类别 ##

主要识别8种类型：

（1） O;

（2） MISC;

（3）  LOCATION;

（4） GPE;

（5） FACILITY

（6）  ORGANIZATION

（7） DEMONYM

（8）  PERSON

## 2.CRF特征索引 ##