【自然语言处理】TF/IDF算法

约定不等于承诺〃 2022-05-07 05:56 229阅读 0赞

### 文章目录 ###

*   *  TF/IDF算法
     *   *  前言
         *  背景介绍
         *  基本思想
         *  公式说明

## TF/IDF算法 ##

### 前言 ###

当我们去了解一篇文章是不是我们所需要时就要去看摘要，看关键字，而对于关键字的提取使用的主要流行的算法就是`IF/IDF`和`TextRank`算法，此篇博文重点是对`IF/IDF`算法的学习。

### 背景介绍 ###

1：`IF/IDF`全称`Term Frequency-Inverse Document Frequency`，中文名称：词频-逆文档频次算法，它是一中基于统计的计算方法。  
      2：词频-逆文档频次算法（TF/IDF）常用于评估一个文档集中一个词次对某份文档的重要程度。试想一下，一个词对于一个文章越重要，说明这个词越能说明它是关键词。

3：词频-逆文档频次算法（TF/IDF）是由两部分组成，其中TF算法是用于统计一个词在一篇文档出现的频次，IDF算法是统计一个词在文档集的多少个文档中出现。

### 基本思想 ###

*  TF算法  
          一个词在文档中出现的次数越多，则其对文档的表达能力也就越强。
 *  IDF算法  
          如果一个词在越少的文档中出现，则其对文档的区分能力也就是越强。

### 公式说明 ###

*  TF算法  
     t f i j = n i j ∑ k n k j tf\_\{ij=\\frac\{n\_\{ij\}\}\{\\sum\_k n\_\{kj\}\}\} tfij=∑knkjnij

1.   n i j n\_\{ij\} nij是表示词 i i i在文档 j j j中出现频次
2.   ∑ k n k j \\sum\_k n\_\{kj\} ∑knkj表示统计文档中每个词出现次数的总和
3.   t f i j tf\_\{ij\} tfij就是它的概率

--------------------

*  IDF算法  
     i d f i = l o g ( ∣ D ∣ 1 + ∣ D i ) idf\_i=log(\\frac\{|D|\}\{1+|D\_i\}) idfi=log(1\+∣Di∣D∣)

1.   ∣ D ∣ |D| ∣D∣是文档集中总文档数
2.   ∣ D i ∣ |D\_i| ∣Di∣是文档集中出现词 i i i的文档数量，分母加 1 1 1是为了采用拉普拉斯平滑，避免有部分新的词没有在语料库中出现过导致分母为零的情况出现。

--------------------

*  TF-IDF算法  
     t f × i d f ( i , j ) = t f i j × i d f i = n i j ∑ k n k j × l o g ( ∣ D ∣ 1 + ∣ D i ) tf×idf(i,j)=tf\_\{ij\}×idf\_i=\{\\frac\{n\_\{ij\}\}\{\\sum\_k n\_\{kj\}\}\}×log(\\frac\{|D|\}\{1+|D\_i\}) tf×idf(i,j)=tfij×idfi=∑knkjnij×log(1\+∣Di∣D∣)  
    说明  
    计算得到的 t f × i d f ( i , j ) tf×idf(i,j) tf×idf(i,j) 的值越高说明此词就越适合作为关键词，当然对于关键词可能不止一个，可以根据 t f − i d f tf-idf tf−idf的由大到小排序取前 n n n个作为关键词。

说明  
此次关于TF/IDF算法的学习参考的资料是《python自然语言处理实战核心技术与算法》