自然语言处理之文本相似度

旧城等待， 2022-03-16 11:04 240阅读 0赞

### 1、文本相似度： ###

1) 语义相似、但字面不相似

2) 字面相似、但是语义不相似

### 2、方案： ###

1) 语义相似：依靠用户行为，最基本的方法：（1）基于共点击的行为（协同过滤），（2）借助回归算法

2) 字面相似：(1) LCS最大公共子序列 (2) 利用中文分词

### 3 字面相似的问题解决：          余弦相似度 cosine                       举例：A(1,2,3)，B(2,3,4)                       cosine(A,B) = 分子 / 分母                       分子：A\*B = 1\*2+2\*3+3\*4 = 20 ###

|A| = sqrt(1\*1+2\*2+3\*3) = 3.74  
                    |B| = sqrt(2\*2+3\*3+4\*4) = 5.38  
                    分母：|A|\*|B| = 20.12

### 4 tfidf： ###

1) TF：词频  
              
                    关键词：在当前文章出现较多，但在其他文章中出现较少  
              
2) IDF：反文档频率  
                                      
score = TF \* IDF

### 5、自动摘要: ###

1) 确定关键词集合（两种方法（a）top-10 （b）阈值截断 > 0.8 ）  
2）哪些句子包含关键词，把这些句子取出来  
3)  对关键词排序，对句子做等级划分  
4）把等级高的句子取出来，就是摘要

### 6.实践： ###

1.idf实践：

一共508篇文章

（1）数据预处理：把所有文章的内容，全部收集到一个文件中

\]\# python convert.py input\_tfidf\_dir/ > idf\_input.data

（2）计算IDF：通过mr批量计算IDF

计算方法：文档总数/包含该词的文档数

**代码：**

**convert.py:**

import os

import sys

file\_path\_dir = sys.argv\[1\]

def read\_file\_handler(f):  
    fd = open(f, 'r')  
    return fd

file\_name = 0  
for fd in os.listdir(file\_path\_dir):  
    file\_path = file\_path\_dir + '/' + fd

content\_list = \[\]

file\_fd = read\_file\_handler(file\_path)  
    for line in file\_fd:  
        content\_list.append(line.strip())

print '\\t'.join(\[str(file\_name), ' '.join(content\_list)\])

file\_name += 1

**map.py:**

import sys

for line in sys.stdin:  
    ss = line.strip().split('\\t')  
    if len(ss) != 2:  
        continue  
    file\_name, file\_content = ss  
    word\_list = file\_content.strip().split(' ')

word\_set = set(word\_list)

for word in word\_set:  
        print '\\t'.join(\[word, '1'\])

**red.py:**

import sys  
import math

current\_word = None  
sum = 0

docs\_cnt = 508

for line in sys.stdin:  
    ss = line.strip().split('\\t')  
    if len(ss) != 2:  
        continue  
    word, val = ss  
    if current\_word == None:  
        current\_word = word  
    if current\_word != word:  
        idf = math.log(float(docs\_cnt) / (float(sum) + 1.0))  
        print '\\t'.join(\[current\_word, str(idf)\])  
        current\_word = word  
        sum = 0

sum += int(val)

idf = math.log(float(docs\_cnt) / (float(sum) + 1.0))  
print '\\t'.join(\[current\_word, str(idf)\])

编写run.sh脚本运行MapReduce：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70][]

7.LCS（最长公共子序列）解决方案：

动态规划解决：

![20190227211527337.png][]

LCSpython实践：

1.数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1][]

2.python代码：

map.py:

\# -\*- coding: utf-8 -\*-  
\#!/usr/bin/python

import sys

def cal\_lcs\_sim(first\_str, second\_str):  
    len\_vv = \[\[0\] \* 50\] \* 50

first\_str = unicode(first\_str, "utf-8", errors='ignore')  
    second\_str = unicode(second\_str, "utf-8", errors='ignore')

len\_1 = len(first\_str.strip())  
    len\_2 = len(second\_str.strip())

for i in range(1, len\_1 + 1):  
        for j in range(1, len\_2 + 1):  
            if first\_str\[i - 1\] == second\_str\[j - 1\]:  
                len\_vv\[i\]\[j\] = 1 + len\_vv\[i - 1\]\[j - 1\]  
            else:  
                len\_vv\[i\]\[j\] = max(len\_vv\[i - 1\]\[j\], len\_vv\[i\]\[j - 1\])

return float(float(len\_vv\[len\_1\]\[len\_2\] \* 2) / float(len\_1 + len\_2))

for line in sys.stdin:  
    ss = line.strip().split('\\t')  
    if len(ss) != 2:  
        continue  
    first\_str = ss\[0\].strip()  
    second\_str = ss\[1\].strip()

sim\_score = cal\_lcs\_sim(first\_str, second\_str)  
    print '\\t'.join(\[first\_str, second\_str, str(sim\_score)\])

执行脚本run.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 2][]

执行：

![20190227212012844.png][]

结果：

![20190227212040620.png][]

shell终端做快速计算：  
            \]\# echo $\[60000\*2/16\]  
            \]\# echo $((60000\*2/16))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70]: /images/20220316/1d6ab2c8e2774d30ab39c88ea01be34d.png
[20190227211527337.png]: /images/20220316/558a82bc88ff4b4ebb1cfdafdb0ac7fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1]: /images/20220316/ae265364ac83474295eace67506a2194.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 2]: /images/20220316/064d1d8422034087a5483a3d13dae204.png
[20190227212012844.png]: /images/20220316/3dc48033c3ed4c28a9aef9adbbb5e5b9.png
[20190227212040620.png]: /images/20220316/75ed1b2ae66b426ca51e17019c889e19.png