NLP自然语言处理

落日映苍穹つ 2021-11-30 00:52 412阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font> </font> 
    <div> 
     <h2>自然语言处理</h2>&amp;nbsp 研究使用计算机编程来处理与理解人类语言。 
    </div> 
    <div> 
     <h2>应用场景</h2>&amp;nbsp 机器翻译、情感分析、文本处理、聊天机器人。 
    </div> <h2>通用技术</h2> <h2>1.分词</h2> &amp;nbsp 将连续文本分割成若干词汇 <h2>2.停用词过滤</h2> &amp;nbsp 拿一个句子来说：主谓宾、定状补。经过停用词过滤以后就只剩下---主谓宾。 <h3>&amp;nbsp 词干提取和词形还原主要应用在英文等西方语言中。</h3> <h2>3.词干提取</h2> &amp;nbsp 是指对一个单词去掉后缀，还原为词本身。 <h2>4.词形还原</h2> &amp;nbsp 是指同一单词不同形式的识别，将单词还原为标准形式。 <h2>5.词袋模型</h2> &amp;nbsp 用来将文本转换成数值向量的表示形式。方式为将每个文档构建一个特征向量，其中包含每个单词在文档中出现的次数。 <h2>6.TF-IDF</h2> &amp;nbsp TF-IDF=TF(词频)*IDF(逆文档频率)<br> &amp;nbsp TF(Term Frequency):词频统计，对文章中词语出现的频率进行计数统计。<br> &amp;nbsp $TF=\frac{当前文档中单词出现的次数}{当前文档中包含的单词总数}$<br><h3>&amp;nbsp 大众词出现的次数多，也不应该认为是重要的，因为在其它文档中出现的次数也多。为了更好的衡量大众词的价值，可用IDF来解决。</h3><br> &amp;nbsp IDF(Inverse Document Frequency):逆文档频率，指的是语料库中文档总数与语料库中包含该词的文档数，二者比值的对数（log）。<br> &amp;nbsp $IDF=log\left ( \frac{语料库中文档总数}{语料库中包含该词的文档数+1} \right )$<br> 举个例子：<br> &amp;nbsp <font>昨夜</font> 星辰 <font>昨夜</font>风<br> &amp;nbsp 小马过河<br> &amp;nbsp <font>昨夜</font>房上看月亮<br> &amp;nbsp 明天又是另外一天了<br> &amp;nbsp "昨夜"在第一个文档中出现了2次，第一个文档总共包含4个词，总共存在4个文档，故 $TF=\frac{2}{4}$ , $IDF=log\left ( \frac{4}{2+1} \right )$<br> &amp;nbsp "昨夜"的TF-IDF值为：$0.5\times log\left ( 4/3 \right )$ <h2>7.Word2Vec</h2> &amp;nbsp Word2Vec:Word2Vec是Google在2013年提出的一个开源算法，使用神经网络技术，可以将词表转化为向量表示。确切的说，就是将词映射为n维空间向量，特征维度n视具体的情况与需求而定。<br> &amp;nbsp 计算文本相似度：可先将词条转化成向量，从而根据余弦相似度来计算文本之间的相似性。 </td> 
  </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/wisteria68/p/10841231.html