自然语言处理NLP

怼烎@ 2023-09-28 18:27 21阅读 0赞

一直听说有一个研究领域是NLP，但一直没有时间了解，借这篇文章对NLP做个简单了解。文章围绕如下几个问题：  
  1.什么是NLP？  
  2.NLP的构成  
  3.NLP的一些具体应用场景和研究现状  
  4.如何学习NLP？

#### 1.什么是NLP？ ####

首先先要明确NLP不是某一项具体的技术，而是一个很大的领域。  
  自然语言处理 (NLP，Natural Language Processing)，先给个定义：自然语言处理（NLP）指以计算机为工具解决一系列现实中和自然语言相关的问题。可以分成两部分理解：自然语言、处理过程。首先自然语言就是人类市场交流所使用的语音和字符系统，换句话说字符系统就是NLP的研究对象，处理过程指对字符进行理解融合应用。计算机接受用户自然语言形式的输入，并在内部通过人类所定义的算法进行加工、计算等系列操作，以模拟人类对自然语言的理解，并返回用户所期望的结果

NLP目前属于AI中一个比较火的方向，有人将人工智能分为三大领域，计算机视觉（CV），自然语言处理（NLP）以及语音识别。NLP属于比较困难的部分

#### 2.NLP由什么组成？ ####

NLP算法的三个级别：简单匹配式、模糊匹配式和段落理解式  
  NLP处理的三个维度：单词、句子、句子语义  
  关于NLP的组成，要说下和NLP相关的两个概念。有一个等式说：NLP=NLU+NLG，来具体看看：  
  **自然语言理解（Natural Language Understanding, NLU）**——理解文本中的意思，NLU对应的是理解俚语、错误发音、拼写错误以及其他语言变体的能力

**自然语言生成（Natural Language Generation, NLG）**——根据意思生成文本，NLG对应的是计算机自行创建通信的能力  
NLU侧重于如何理解文本，包括文本分类、命名实体识别、指代消歧、句法分析、机器阅读理解等；NLG则侧重于理解文本后如何生成自然文本，包括自动摘要、机器翻译、问答系统、对话机器人等。两者间不存在有明显的界限  
  以上两个其实算笼统的概念，下面列举了NLP中一些具体的支撑技术手段：

![在这里插入图片描述][4c1ee8a9e0b344999a98e2805a4579a5.png]  
图源：[https://www.cnblogs.com/cxy2020/p/14640463.html][https_www.cnblogs.com_cxy2020_p_14640463.html]

但NLP研究目前是有困难的，源于如下几个方面：  
    1）文字中相同一种含义，却有多种表达方式  
    2）一词多义  
    3）在处理的各个阶段都会出现误差，最终串行误差累加  
  在这篇博客中也简要提到了几个方面：[NLP遇到的困难：自然语言处理入门第一章笔记][NLP]

#### 3.NLP的应用场景及研究现状 ####

**NLP应用场景**  
  主要包括智能问答系统、文本生成、机器翻译、情感分析、聊天机器人、虚假新闻检测、文本主题分类、信息抽取  
  **NLP的研究现状**  
  NLP的研究已经初具成果，现在有许多流行NLP软件，在此做一下列举：

•自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架，用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的，为50多个语料库和词汇资源库、一个文本处理库、自然语言处理库和论坛提供接口。自然语言工具包(NLTK)是在Apache2.0许可下提供的。
    •SpaCy。SpaCy是一个开放源代码库，用于高级自然语言处理，专门为生产目的而非研究目的而设计。SpaCy的设计充分考虑了高级数据科学，并允许深度数据挖掘。它是由麻省理工学院授权的。
    •Gensim。Gensim是一个用于自然语言处理的开源Python库。独立于平台的库支持可扩展的统计语义、针对语义结构的纯文本文档分析以及检索语义相似文档的能力。可以在无需人工监督的情况下处理大量文本。
    •AmazonComprehend。这项Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、支持通知单和其他文本中获得见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。
    •IBMWatson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气，并监视客户服务电话和聊天对话。
    •谷歌云翻译。这个API使用自然语言处理来检查源文本以确定语言，然后使用神经机器翻译将文本动态翻译为另一种语言。这个API允许用户将功能集成到他们自己的程序中。

参考：[自然语言处理的前景是怎样的][Link 1]

#### 4.如何学习NLP呢？ ####

关于具体如何学习还没有去深刻研究，毕竟目前还没有这方面的需求，不过可以肯定的是机器学习是基础，但也要明白机器学习、深度学习是解决这些问题的具体手段

在这里留一些学习NLP资源吧：  
[GitHub - km1994/nlp\_paper\_study][GitHub - km1994_nlp_paper_study]: 该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记  
[如何系统性地学习NLP 自然语言处理？ - 知乎 (zhihu.com)][NLP _ - _ _zhihu.com]

最后留一些参考资料吧：  
NLP训练数据集：[The NLP Index (quantumstat.com)][The NLP Index _quantumstat.com]  
NLP常用库：[自然语言处理NLP概述][NLP 1]  
[自然语言NLP处理概述][NLP 2]

**因作者水平有限，如有错误之处，请在下方评论区指正，谢谢！**

[4c1ee8a9e0b344999a98e2805a4579a5.png]: https://img-blog.csdnimg.cn/4c1ee8a9e0b344999a98e2805a4579a5.png
[https_www.cnblogs.com_cxy2020_p_14640463.html]: https://www.cnblogs.com/cxy2020/p/14640463.html
[NLP]: https://blog.csdn.net/dianyanxia/article/details/104762174
[Link 1]: https://www.elecfans.com/rengongzhineng/1209997.html
[GitHub - km1994_nlp_paper_study]: https://github.com/km1994/nlp_paper_study
[NLP _ - _ _zhihu.com]: https://www.zhihu.com/question/27529154
[The NLP Index _quantumstat.com]: https://index.quantumstat.com/
[NLP 1]: https://blog.csdn.net/qq_27586341/article/details/89977309
[NLP 2]: https://blog.csdn.net/weixin_39658449/article/details/125027721