JioNLP：预处理、信息抽取、数据增强、NLP简单功能与词典，找它就对了！

迷南。 2022-11-21 04:23 824阅读 0赞

# ⭐戳这里 -> [JioNLP][] #

# ⭐戳这里 => 在线直接使用版 -> [JioNLP][JioNLP 1] #

###    `pip install jionlp` ###

#### 来看看 JioNLP 能干什么？Ctrl+F 搜索一下 ####

#### 功能主要包括：文本清洗，去除HTML标签、异常字符、冗余字符，转换全角字母、数字、空格为半角，抽取及删除E-mail及域名、电话号码、QQ号、括号内容、身份证号、IP地址、URL超链接、货币金额与单位，解析身份证号信息、手机号码归属地、座机区号归属地，按行快速读写文件，（多功能）停用词过滤，（优化的）分句，地址解析，新闻地域识别，繁简体转换，汉字转拼音，汉字偏旁、字形、四角编码拆解，基于词典的情感分析，色情数据过滤，反动数据过滤，关键短语抽取，成语词典、歇后语词典、新华字典、新华词典、停用词典、中国地名词典、世界地名词典，基于词典的NER，NER的字、词级别转换，NER的entity和tag格式转换，NER模型的预测阶段加速并行工具集，NER标注和模型预测的结果差异对比，NER标注数据集分割与统计，文本分类标注数据集的分割与统计，回译数据增强。 ####

#### Update 2020-10-16 ####

## 新增更新 [地址解析][Link 1] ##

#### parse\_location ####

给定一个（地址）字符串，识别其中的**省、市、县三级地名**，指定参数`town_village(bool)`，可获取**乡镇、村、社区两级详细地名**。  
使用了一份最新的[**2019年末国家统计局整理的全国行政区划**][2019]中国地名词典，词典位置：`jionlp/dictionary/china_location.txt`。

# 例 1
    >>> import jionlp as jio
    >>> text = '武侯区红牌楼街道19号红星大厦9楼2号'
    >>> res = jio.parse_location(text, town_village=True)
    >>> print(res)
    
    # {'province': '四川省',
    #  'city': '成都市',
    #  'county': '武侯区',
    #  'town': '红牌楼街道',
    #  'village': None,
    #  'detail': '红牌楼街道19号红星大厦9楼2号',
    #  'full_location': '四川省成都市武侯区红牌楼街19号红星大厦9楼2号',
    #  'orig_location': '武侯区红牌楼街19号红星大厦9楼2号'}

#### Update 2020-09-14 ####

## 新增 [回译数据增强][Link 2]：采用各大厂的机器翻译 API，实现文本数据增强 ##

# ! 需要自己去各厂的平台申请 api和密钥。否则如下的若干 api 和密钥不可用。
    >>> print(jio.TencentApi.__doc__)  # 查看腾讯api的接口使用说明与注册说明。其它厂的接口同理
    
    >>> import jionlp as jio
    >>> xunfei_api = jio.XunfeiApi(
            [{"appid": "5f5846b1",
              "api_key": "52465bb3de9a258379e6909c4b1f2b4b",
              "secret": "b21fdc62a7ed0e287f31cdc4bf4ab9a3"}])
    >>> google_api = jio.GoogleApi()
    >>> baidu_api = jio.BaiduApi(
            [{'appid': '20200618000498778',
              'secretKey': 'raHalLakgYitNuzGOoB2'},  # 错误的密钥
             {'appid': '20200618000498778',
              'secretKey': 'raHalLakgYitNuzGOoBZ'}], gap_time=0.5)
    
    >>> apis = [baidu_api, google_api, xunfei_api]
    
    >>> back_trans = jio.BackTranslation(mt_apis=apis)
    >>> text = '饿了么凌晨发文将推出新功能，用户可选择是否愿意多等外卖员 5 分钟，你愿意多等这 5 分钟吗？'
    >>> result = back_trans(text)
    >>> print(result)
    
    # ['饿了么将在凌晨推出一项新功能。用户可以选择是否愿意额外等待外卖人员5分钟。您想多等5分钟吗？', 
    #  '《饿了么》将在凌晨推出一档新节目。用户可以选择是否愿意等待餐饮人员多花5分钟。您愿意再等五分钟吗？', 
    #  'Ele.me将在早晨的最初几个小时启动一个新的功能。用户可以选择是否准备好再等5分钟。你不想再等五分钟吗？', 
    #  'Eleme将在清晨推出新的功能。用户可以选择是否愿意再等5分钟工作人员。你想再等五分钟吗？']

## 安装 Installation ##

*  python>=3.6

$ git clone https://github.com/dongrixinyu/JioNLP
    $ cd ./JioNLP
    $ pip install .

*  pip 安装

$ pip install -i https://test.pypi.org/simple/ jionlp

## 使用 Features ##

*  导入工具包，查看工具包的主要功能

>>> import jionlp as jio
    >>> dir(jio)
    >>> dir(jio.ner)

### 1、正则抽取与解析 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96-e-mail" rel="nofollow">抽取 <strong>E-mail</strong></a></td> 
   <td>extract_email</td> 
   <td>抽取文本中的 E-mail，返回<strong>位置</strong>与<strong>域名</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96%E9%87%91%E9%A2%9D%E5%AD%97%E7%AC%A6%E4%B8%B2" rel="nofollow">抽取 <strong>金额</strong></a></td> 
   <td>extract_money</td> 
   <td>抽取文本中的金额，并将其以<strong>数字 + 单位</strong>标准形式输出</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81" rel="nofollow">抽取<strong>电话号码</strong></a></td> 
   <td>extract_phone_number</td> 
   <td>抽取电话号码(含<strong>手机</strong>、<strong>座机</strong>)，返回<strong>域名</strong>、<strong>类型</strong>与<strong>位置</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96%E8%BA%AB%E4%BB%BD%E8%AF%81%E5%8F%B7" rel="nofollow">抽取中国<strong>身份证</strong> ID</a></td> 
   <td>extract_id_card</td> 
   <td>抽取身份证 ID，配合 <strong>jio.parse_id_card</strong> 返回身份证的<br>详细信息(<strong>省市县</strong>、<strong>出生日期</strong>、<strong>性别</strong>、<strong>校验码</strong>)</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96-qq" rel="nofollow">抽取 <strong>QQ</strong> 号</a></td> 
   <td>extract_qq</td> 
   <td>抽取 QQ 号，分为严格规则和宽松规则</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96-url-%E8%B6%85%E9%93%BE%E6%8E%A5" rel="nofollow">抽取 <strong>URL</strong></a></td> 
   <td>extract_url</td> 
   <td>抽取 URL 超链接</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96-ip-%E5%9C%B0%E5%9D%80" rel="nofollow">抽取 <strong>IP</strong>地址</a></td> 
   <td>extract_ip_address</td> 
   <td>抽取 IP 地址</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%8A%BD%E5%8F%96%E6%96%87%E6%9C%AC%E6%8B%AC%E5%8F%B7%E4%BF%A1%E6%81%AF" rel="nofollow">抽取<strong>括号</strong>中的内容</a></td> 
   <td>extract_parentheses</td> 
   <td>抽取括号内容，包括 <strong>{}「」[]【】()（）&lt;&gt;《》</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%B8%85%E6%B4%97%E6%96%87%E6%9C%AC" rel="nofollow"><strong>清洗文本</strong></a></td> 
   <td>clean_text</td> 
   <td>去除文本中的<strong>异常字符、冗余字符、HTML标签、括号信息、</strong><br><strong>URL、E-mail、电话号码，全角字母数字转换为半角</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84-e-mail" rel="nofollow">删除 <strong>E-mail</strong></a></td> 
   <td>remove_email</td> 
   <td>删除文本中的 E-mail 信息</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84-url" rel="nofollow">删除 <strong>URL</strong></a></td> 
   <td>remove_url</td> 
   <td>删除文本中的 URL 信息</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81" rel="nofollow">删除 <strong>电话号码</strong></a></td> 
   <td>remove_phone_number</td> 
   <td>删除文本中的电话号码</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84-ip-%E5%9C%B0%E5%9D%80" rel="nofollow">删除 <strong>IP地址</strong></a></td> 
   <td>remove_ip_address</td> 
   <td>删除文本中的 IP 地址</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84%E8%BA%AB%E4%BB%BD%E8%AF%81%E5%8F%B7" rel="nofollow">删除 <strong>身份证号</strong></a></td> 
   <td>remove_id_card</td> 
   <td>删除文本中的身份证信息</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84-qq-%E5%8F%B7" rel="nofollow">删除 <strong>QQ</strong></a></td> 
   <td>remove_qq</td> 
   <td>删除文本中的 qq 号</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84-html-%E6%A0%87%E7%AD%BE" rel="nofollow">删除 <strong>HTML</strong>标签</a></td> 
   <td>remove_html_tag</td> 
   <td>删除文本中残留的 HTML 标签</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E6%8B%AC%E5%8F%B7%E4%BF%A1%E6%81%AF" rel="nofollow">删除<strong>括号</strong>中的内容</a></td> 
   <td>remove_parentheses</td> 
   <td>删除括号内容，包括 <strong>{}「」[]【】()（）&lt;&gt;《》</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%AD%A3%E5%88%99%E6%8A%BD%E5%8F%96%E4%B8%8E%E8%A7%A3%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%A0%E9%99%A4%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84%E5%BC%82%E5%B8%B8%E5%AD%97%E7%AC%A6" rel="nofollow">删除异常字符</a></td> 
   <td>remove_exception_char</td> 
   <td>删除文本中异常字符，主要保留汉字、常用的标点，<br>单位计算符号，字母数字等。</td> 
  </tr> 
 </tbody> 
</table>

### 2. 文件读写工具 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%96%87%E4%BB%B6%E8%AF%BB%E5%86%99-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%96%87%E4%BB%B6%E8%AF%BB%E5%8F%96iter" rel="nofollow"><strong>按行读取文件</strong></a></td> 
   <td>read_file_by_iter</td> 
   <td>以迭代器形式方便按行读取文件，节省内存，支持指定<strong>行数</strong>，<br><strong>跳过空行</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%96%87%E4%BB%B6%E8%AF%BB%E5%86%99-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%96%87%E4%BB%B6%E8%AF%BB%E5%8F%96list" rel="nofollow"><strong>按行读取文件</strong></a></td> 
   <td>read_file_by_line</td> 
   <td>按行读取文件，支持指定<strong>行数</strong>，<strong>跳过空行</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%96%87%E4%BB%B6%E8%AF%BB%E5%86%99-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%96%87%E4%BB%B6%E5%86%99%E5%85%A5" rel="nofollow">将 list 中元素按行写入文件</a></td> 
   <td>write_file_by_line</td> 
   <td>将 list 中元素按行写入文件</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/jionlp/wiki/%E6%96%87%E4%BB%B6%E8%AF%BB%E5%86%99-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E8%AE%A1%E6%97%B6%E5%99%A8" rel="nofollow">计时工具</a></td> 
   <td>TimeIt</td> 
   <td>统计某一代码段的耗时</td> 
  </tr> 
 </tbody> 
</table>

### 3.小工具集 Gadgets ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%85%B3%E9%94%AE%E7%9F%AD%E8%AF%AD%E6%8A%BD%E5%8F%96" rel="nofollow"><strong>关键短语抽取</strong></a></td> 
   <td>extract_keyphrase</td> 
   <td>给定一篇文本，抽取其对应关键短语</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9B%9E%E8%AF%91%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA" rel="nofollow"><strong>回译数据增强</strong></a></td> 
   <td>BackTranslation</td> 
   <td>给定一篇文本，采用各大厂云平台的机器翻译接口，实现数据增强</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8E%BB%E9%99%A4%E5%81%9C%E7%94%A8%E8%AF%8D" rel="nofollow"><strong>停用词过滤</strong></a></td> 
   <td>remove_stopwords</td> 
   <td>给定一个文本被分词后的词 list，去除其中的停用词</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%96%87%E6%9C%AC%E5%88%86%E5%8F%A5" rel="nofollow"><strong>分句</strong></a></td> 
   <td>split_sentence</td> 
   <td>对文本按标点分句。</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9C%B0%E5%9D%80%E8%A7%A3%E6%9E%90" rel="nofollow"><strong>地址解析</strong></a></td> 
   <td>parse_location</td> 
   <td>给定一个包含国内地址字符串，识别其中的<strong>省、市、县区、乡镇街道、村社</strong>等信息</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%96%B0%E9%97%BB%E5%9C%B0%E5%90%8D%E8%AF%86%E5%88%AB" rel="nofollow">新闻<strong>地名识别</strong></a></td> 
   <td>recognize_location</td> 
   <td>给定新闻文本，识别其中的<strong>国内省、市、县，国外国家、城市</strong>等信息</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E8%BA%AB%E4%BB%BD%E8%AF%81%E5%8F%B7%E7%A0%81%E8%A7%A3%E6%9E%90" rel="nofollow"><strong>身份证号</strong>解析</a></td> 
   <td>parse_id_card</td> 
   <td>给定一个身份证号，识别对应的<strong>省、市、县、出生年月、</strong><br><strong>性别、校验码</strong>等信息</td> 
  </tr> 
  <tr> 
   <td><a rel="nofollow">色情数据过滤</a></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><a rel="nofollow">反动数据过滤</a></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E7%B9%81%E4%BD%93%E8%BD%AC%E7%AE%80%E4%BD%93%E5%AD%97" rel="nofollow">繁体转简体</a></td> 
   <td>tra2sim</td> 
   <td>繁体转简体，支持<strong>逐字转</strong>与<strong>最大匹配</strong>两种模式</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E7%AE%80%E4%BD%93%E8%BD%AC%E7%B9%81%E4%BD%93%E5%AD%97" rel="nofollow">简体转繁体</a></td> 
   <td>sim2tra</td> 
   <td>简体转繁体，支持<strong>逐字转</strong>与<strong>最大匹配</strong>两种模式</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%B1%89%E5%AD%97%E8%BD%AC%E6%8B%BC%E9%9F%B3" rel="nofollow">汉字转<strong>拼音</strong></a></td> 
   <td>pinyin</td> 
   <td>找出中文文本对应的汉语拼音，并可返回<strong>声母</strong>、<strong>韵母</strong>、<strong>声调</strong></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%B1%89%E5%AD%97%E8%BD%AC%E5%81%8F%E6%97%81%E4%B8%8E%E5%AD%97%E5%BD%A2" rel="nofollow">汉字转<strong>偏旁与字形</strong></a></td> 
   <td>char_radical</td> 
   <td>找出中文文本对应的汉字字形结构信息，包括<strong>偏旁部首</strong>(“河”氵)、<br><strong>字形结构</strong>(“河”左右结构)、<strong>四角编码</strong>(“河”31120)、<br><strong>汉字拆解</strong>(“河”水可)</td> 
  </tr> 
 </tbody> 
</table>

### 4.词典加载与使用 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E6%88%90%E8%AF%AD%E8%AF%8D%E5%85%B8" rel="nofollow"><strong>成语</strong>词典</a></td> 
   <td>chinese_idiom_loader</td> 
   <td>加载成语词典</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E6%AD%87%E5%90%8E%E8%AF%AD%E8%AF%8D%E5%85%B8" rel="nofollow"><strong>歇后语</strong>词典</a></td> 
   <td>xiehouyu_loader</td> 
   <td>加载歇后语词典</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E4%B8%AD%E5%9B%BD%E7%9C%81%E5%B8%82%E5%8E%BF%E5%9C%B0%E5%90%8D%E8%AF%8D%E5%85%B8" rel="nofollow"><strong>中国地名</strong>词典</a></td> 
   <td>china_location_loader</td> 
   <td>加载中国<strong>省、市、县</strong>三级词典</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E4%B8%96%E7%95%8C%E5%9B%BD%E5%AE%B6%E5%9F%8E%E5%B8%82%E5%9C%B0%E5%90%8D%E8%AF%8D%E5%85%B8" rel="nofollow"><strong>世界地名</strong>词典</a></td> 
   <td>world_location_loader</td> 
   <td>加载世界<strong>大洲、国家、城市</strong>词典</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E6%96%B0%E5%8D%8E%E5%AD%97%E5%85%B8" rel="nofollow">新华<strong>字典</strong></a></td> 
   <td>chinese_char_dictionary_loader</td> 
   <td>加载新华字典</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E8%AF%8D%E5%85%B8%E5%8A%A0%E8%BD%BD-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%8A%A0%E8%BD%BD%E6%96%B0%E5%8D%8E%E8%AF%8D%E5%85%B8" rel="nofollow">新华<strong>词典</strong></a></td> 
   <td>chinese_word_dictionary_loader</td> 
   <td>加载新华词典</td> 
  </tr> 
 </tbody> 
</table>

### 5.实体识别(NER)算法辅助工具集 ###

*  [工具包 NER 数据规定说明][NER]

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9F%BA%E4%BA%8E%E8%AF%8D%E5%85%B8-ner" rel="nofollow">基于<strong>词典NER</strong></a></td> 
   <td>LexiconNER</td> 
   <td>依据指定的实体词典，前向最大匹配实体</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-entity-%E8%BD%AC-tag" rel="nofollow"><strong>entity 转 tag</strong></a></td> 
   <td>entity2tag</td> 
   <td>将 json 格式实体转换为模型处理的 tag 序列</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-tag-%E8%BD%AC-entity" rel="nofollow"><strong>tag 转 entity</strong></a></td> 
   <td>tag2entity</td> 
   <td>将模型处理的 tag 序列转换为 json 格式实体</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%AD%97-token-%E8%BD%AC%E8%AF%8D-token" rel="nofollow"><strong>字 token 转词 token</strong></a></td> 
   <td>char2word</td> 
   <td>将字符级别 token 转换为词汇级别 token</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E8%AF%8D-token-%E8%BD%AC%E5%AD%97-token" rel="nofollow"><strong>词 token 转字 token</strong></a></td> 
   <td>word2char</td> 
   <td>将词汇级别 token 转换为字符级别 token</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%AF%94%E8%BE%83-ner-%E6%A0%87%E6%B3%A8%E5%AE%9E%E4%BD%93%E4%B8%8E%E6%A8%A1%E5%9E%8B%E9%A2%84%E6%B5%8B%E5%AE%9E%E4%BD%93%E4%B9%8B%E9%97%B4%E7%9A%84%E5%B7%AE%E5%BC%82" rel="nofollow">比较标注与模型预测的<strong>实体差异</strong></a></td> 
   <td>entity_compare</td> 
   <td>针对人工标注的实体，与模型预测出的实体结果<br>，做差异比对</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-ner-%E6%A8%A1%E5%9E%8B%E9%A2%84%E6%B5%8B%E5%8A%A0%E9%80%9F" rel="nofollow"><strong>NER模型预测加速</strong></a></td> 
   <td>TokenSplitSentence<br>TokenBreakLongSentence<br>TokenBatchBucket</td> 
   <td>对 NER 模型预测并行加速的方法</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%86%E5%89%B2%E6%95%B0%E6%8D%AE%E9%9B%86" rel="nofollow"><strong>分割数据集</strong></a></td> 
   <td>analyse_dataset</td> 
   <td>对 NER 标注语料，分为训练集、验证集、测试集，并给出各个子集的实体类型分布统计</td> 
  </tr> 
 </tbody> 
</table>

### 6.文本分类 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E6%9E%90%E7%B1%BB%E5%88%AB%E8%AF%8D%E6%B1%87" rel="nofollow"><strong>朴素贝叶斯分析类别词汇</strong></a></td> 
   <td>analyse_freq_words</td> 
   <td>对文本分类的标注语料，做朴素贝叶斯词频分析，返回各类<br>文本的高条件概率词汇</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%88%86%E5%89%B2%E6%95%B0%E6%8D%AE%E9%9B%86" rel="nofollow"><strong>分割数据集</strong></a></td> 
   <td>analyse_dataset</td> 
   <td>对文本分类的标注语料，切分为训练集、验证集、测试集，<br>并给出各个子集的分类分布统计</td> 
  </tr> 
 </tbody> 
</table>

### 7.情感分析 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/dongrixinyu/JioNLP/wiki/%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9F%BA%E4%BA%8E%E8%AF%8D%E5%85%B8%E7%9A%84%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90" rel="nofollow">基于<strong>词典情感分析</strong></a></td> 
   <td>LexiconSentiment</td> 
   <td>依据人工构建的情感词典，计算文本的情感值，介于0~1之间</td> 
  </tr> 
 </tbody> 
</table>

[jionlp时间语义解析][jionlp]

还不快试试！

[JioNLP]: https://github.com/dongrixinyu/JioNLP
[JioNLP 1]: http://182.92.160.94:16666/#/
[Link 1]: https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9C%B0%E5%9D%80%E8%A7%A3%E6%9E%90
[2019]: http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2019
[Link 2]: https://github.com/dongrixinyu/JioNLP/wiki/Gadget-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%9B%9E%E8%AF%91%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA
[NER]: https://github.com/dongrixinyu/JioNLP/wiki/NER-%E8%AF%B4%E6%98%8E%E6%96%87%E6%A1%A3#user-content-%E5%89%8D%E8%A8%80
[jionlp]: https://blog.csdn.net/dongrixinyu/article/details/120245280