Hanlp自然语言处理中的词典格式说明

左手的ㄟ右手 2022-02-12 23:50 249阅读 0赞

使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。

**基本格式**

词典分为词频词性词典和词频词典。

1、词频词性词典（如CoreNatureDictionary.txt）

（1）每一行代表一个单词，格式遵从\[单词\] \[词性A\] \[A的频次\] \[词性B\] \[B的频次\] ...。

（2）支持省略词性和频次，直接一行一个单词。

（3）.txt词典文件的分隔符为空格或制表符，所以不支持含有空格的词语。如果需要支持空格，请使用英文逗号,分割的纯文本.csv文件。在使用Excel等富文本编辑器时，则请注意保存为纯文本形式。

2、词频词典（如CoreNatureDictionary.ngram.txt）

（1）每一行代表一个单词或条目，格式遵从\[单词\] \[单词的频次\]。

（2）每一行的分隔符为空格或制表符。

少数词典有自己的专用格式，比如同义词词典兼容《同义词词林扩展版》的文本格式，而转移矩阵词典则是一个csv表格。

下文主要介绍通用词典，如不注明，词典特指通用词典。

**数据结构**

Trie树（字典树）是HanLP中使用最多的数据结构，为此，我实现了通用的Trie树，支持泛型、遍历、储存、载入。

用户自定义词典采用AhoCorasickDoubleArrayTrie和二分Trie树储存，其他词典采用基于双数组Trie树(DoubleArrayTrie)实现的AC自动机AhoCorasickDoubleArrayTrie。关于一些常用数据结构的性能评估，请参考wiki。

**储存形式**

词典有两个形态：文本文件(filename.txt)和缓存文件(filename.txt.bin或filename.txt.trie.dat和filename.txt.trie.value)。

1、文本文件

·采用明文储存，UTF-8编码，CRLF换行符。

2、缓存文件

（1）就是一些二进制文件，通常在文本文件的文件名后面加上.bin表示。有时候是.trie.dat和.trie.value。后者是历史遗留产物，分别代表trie树的数组和值。

（2）如果你修改了任何词典，只有删除缓存才能生效。

**修改方法**

HanLP的核心词典训练自人民日报2014语料，语料不是完美的，总会存在一些错误。这些错误可能会导致分词出现奇怪的结果，这时请打开调试模式排查问题：

HanLP.Config.enableDebug();

（1）核心词性词频词典

a）比如你在data/dictionary/CoreNatureDictionary.txt中发现了一个不是词的词，或者词性标注得明显不对，那么你可以修改它，然后删除缓存文件使其生效。

B）目前CoreNatureDictionary.ngram.txt的缓存依赖于CoreNatureDictionary.txt的缓存，修改了后者之后必须同步删除前者的缓存，否则可能出错

（2）核心二元文法词典

a） 二元文法词典data/dictionary/CoreNatureDictionary.ngram.txt储存的是两个词的接续，如果你发现不可能存在这种接续时，删掉即可。

B）你也可以添加你认为合理的接续，但是这两个词必须同时在核心词典中才会生效。

（3）命名实体识别词典

a）基于角色标注的命名实体识别比较依赖词典，所以词典的质量大幅影响识别质量。

b）这些词典的格式与原理都是类似的，请阅读相应的文章或代码修改它。

发表评论取消回复

表情：

评论列表（有 0 条评论，249人围观）

还没有评论，来说两句吧...

相关阅读

相关自然语言处理（NLP）学习之与HanLP的初相识

目录前言一、自然语言处理基本知识 1、NLP类别 2、核心任务二、Hanlp简要介绍三、Hanlp云服务能力 1、全新云原生2.x 2、Python

深藏阁楼爱情的钟/ 2023年10月16日 15:32/ 0 赞/ 3 阅读

相关 HanLP《自然语言处理入门》笔记--2.词典分词

笔记转载于GitHub项目：[https://github.com/NLP-LOVE/Introduction-NLP][https_github.com_NLP-LOVE_I

╰半夏微凉°/ 2023年07月03日 10:42/ 0 赞/ 22 阅读

相关 Python调用自然语言处理包HanLP

Python调用自然语言处理包HanLP3.png一句话安装pyhanlp，全自动下载安装配置，还支持升级。 pip install pyhanlp 调用方法参考项目主页

左手的ㄟ右手/ 2022年04月17日 03:10/ 0 赞/ 223 阅读

相关 HanLP 自然语言处理 for nodejs

·支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动

小咪咪/ 2022年02月14日 10:11/ 0 赞/ 239 阅读

相关开源自然语言处理工具包hanlp中CRF分词实现详解

CRF简介 CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。 \[gerative-discriminative.p

电玩女神/ 2022年02月13日 03:02/ 0 赞/ 306 阅读

相关 Hanlp自然语言处理工具之词法分析器

本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个

﹏ヽ暗。殇╰゛Y/ 2022年02月13日 02:29/ 0 赞/ 287 阅读

相关中文自然语言处理工具HanLP源码包的下载使用记录

这篇文章主要分享的是hanlp自然语言处理源码的下载，数据集的下载，以及将让源代码中的demo能够跑通。Hanlp安装包的下载以及安装其实之前就已经有过分享了。本篇文

旧城等待，/ 2022年02月13日 02:04/ 0 赞/ 387 阅读

相关 Hanlp自然语言处理中的词典格式说明

使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的

左手的ㄟ右手/ 2022年02月12日 23:50/ 0 赞/ 250 阅读

相关自然语言处理工具hanlp定制用户词条

作者：baiziyu 关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇

淡淡的烟草味﹌/ 2022年01月11日 10:57/ 0 赞/ 262 阅读

相关自然语言处理hanlp的入门基础

![封面.jpg][.jpg] 此文整理的基础是建立在hanlp较早版本的基础上的，虽然hanlp的最新1.7版本已经发布，但对于入门来说差别不大！分享一篇比较早

梦里梦外;/ 2022年01月11日 10:57/ 0 赞/ 384 阅读