NLTK避免缩略词导致分句错误

古城微笑少年丶 2022-09-01 09:15 98阅读 0赞

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations?  
][How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]

NLTK自带的`nltk.tokenize`库可以实现英文分句，但是当句子中存在缩写词时分句会错误：

from nltk.tokenize import sent_tokenize
    sens = sent_tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig.', '2 shows a U.S.A. map.Look!'] """

可以使用`nltk.tokenize.punkt`库自定义缩写词列表进行分句：

from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktParameters
    
    punkt_param = PunktParameters()
    abbreviation = ['fig', 'u.s.a']
    punkt_param.abbrev_types = set(abbreviation)
    tokenizer = PunktSentenceTokenizer(punkt_param)
    sens = tokenizer.tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig. 2 shows a U.S.A. map.Look!'] """

**注意：**

1.  自定义缩略词列表单词全部小写，结尾的句号要去掉
2.  句子结束标点后面要加一个空格，否则分句失败

[How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]: https://stackoverflow.com/questions/34805790/how-to-avoid-nltks-sentence-tokenizer-splitting-on-abbreviations

发表评论取消回复

表情：

评论列表（有 0 条评论，98人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python 千题 —— 基础篇】分句成词

题目描述题目描述在数据分析时，我们可能需要将一句话分割成一个个单词，从而分析句子所包含的内容。编写一个程序，输入一句话，然后以空格为分界符将句子分割成一个个单词

深藏阁楼爱情的钟/ 2024年03月27日 19:11/ 0 赞/ 17 阅读

相关 Spring循环依赖（缩略版）

Spring循环依赖问题也算是个老掉牙的问题，一搜一大把，这里纯粹是为了给自己做个笔记，所以写（水）一篇博客那么为什么要叫缩略版呢，因为这里不打算分析Spring源码来讲了

Bertha 。/ 2022年12月06日 15:52/ 0 赞/ 64 阅读

相关 WebRTC 那些常用的缩略词以及部分知识杂谈

WebRTC 那些常用的缩略词以及部分知识杂谈一、缩略语 RTC Real-Time Communication SDP Session Description P

叁歲伎倆/ 2022年10月16日 00:56/ 0 赞/ 194 阅读

相关电商缩略词用语

ACU Average concurrent users 同时在线用户数 ARPU Average Revenue Per User 每用户平均收入 CPA

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 10:43/ 0 赞/ 77 阅读

相关 NLTK避免缩略词导致分句错误

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations? ][How to avoid

古城微笑少年丶/ 2022年09月01日 09:15/ 0 赞/ 99 阅读

相关 java script 显示缩略词

1. 循序渐进：从最核心的内容开始，逐步添加额外的内容 2. display inline 把所有的元素放在一行显示，横向显示（以内联元素的形式显示） bloc

蔚落/ 2022年08月21日 00:08/ 0 赞/ 85 阅读

相关 C#图像处理（剪切、合成、缩略）

using System; using System.Data; using System.Configuration; using System.Web; u

我会带着你远行/ 2022年06月15日 12:26/ 0 赞/ 173 阅读

相关设计模式23缩略版

设计模式分为三大类：创建型模式，共5种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共7种：适配器模式、装饰器模式、代理模式、外观模式

╰+攻爆jí腚メ/ 2022年06月09日 00:58/ 0 赞/ 94 阅读

相关 Python 自然语言处理（基于jieba分词和NLTK）

\----------欢迎加入学习交流QQ群：657341423 -------------------- 自然语言处理是人工智能的类别之一。自然语言处理主要有那些功能？我

曾经终败给现在/ 2022年05月25日 08:37/ 0 赞/ 205 阅读

相关 NLTK学习笔记(八):文法--词关系研究的工具

目录文法自定义文法文法用途开发文法分析文法的算法递归下降解析器

向右看齐/ 2022年05月16日 00:49/ 0 赞/ 111 阅读