TF-IDF的基本概念

蔚落 2021-09-26 15:24 106阅读 0赞

1.  单文本词频 （Term Frequency，TF）  
    即：关键字的次数/网页的总字数  
    如：一个网页上有1000个词，其中“原子能”、“的”和“应用”分别出现了2次，35次和5次，那么它们的词频分别是0.002,0.035,0.005。将这几个数相加，就是“原子能的应用”的“单文本词频”。  
    度量网页和查询的相关性的一个简单方法就是直接使用各个关键词在网页中出现的总词频。具体来讲，如果一个查询包含N个关键词w1,w2,…,wN，它们在一个特定网页中的词频分别是：TF1,TF2,…,TFN。那么，这个查询和该网页的相关性（即相似度）就是：  
    相关性 = TF1 + TF2 + … +TFN。  
    在上述例子中，“的”占了总词频的80%以上，而它对确定网页没什么用，这种词称为“停用”词。忽略停用词后，上述网页和查询的相关性就变成了0.007。然后又发现“应用”是一个很通用的词，而“原子能”是一个很专业的词，后者在相关性排名中比前者重要。因此，需要对汉语中的每一个词给一个权重。这个权重的设定需满足以下条件：  
    1） 一个词预测主题的能力越强，权重越大，反之，权重越小。在网页中看到“原子能”这个词，或多或少能了解网页的主题，而看到应用一词，则对主题基本上还是一无所知，因此，“原子能”的权重应该比“应用”大。  
    2） 停用词的权重为0。
2.  逆文本频率指数（Inverse Document Frequency，IDF）  
    假设一个关键字w在Dw个网页中出现过，那么Dw越大，w的权重越小，反之亦然。它的公式为log(D/Dw)，其中D为网页综述。比如说，假定中文网页数D=10亿，停用词“的”在所有网页中都出现，即Dw=10亿，那么它的IDF=log(10亿/10亿)=log1 = 0，假设“原子能”在200万个网页中出现，即Dw=200万,那么它的IDF=log(10亿/200万)=log500 = 8.96, 假设“应用”在5亿个网页中出现，即Dw=500万,那么它的IDF=log(10亿/5亿)=log2=1。即利用IDF，上述相关性计算的公式就由词频的简单求和变成了加权加权求和。即：  
    相关性 = TF1\*IDF1 + TF2\*IDF2 + … +TFN\*IDFN。

参考文献：吴军.数学之美\[M\].第二版.人民邮电出版社.2014