python新玩法:用python进行文章摘要拿取，只需要一行代码

桃扇骨 2022-03-22 09:28 29阅读 0赞

## 前言 ##

今天为大家介绍一个python算法TextRank,实现从长篇中快速抽取精准摘要。

TextRank是一种基于图形的文本处理排序算法。PageRank通常用作其底层的图排序模型。当然，其他的图排序模型也可以与之结合。

TextRank算法不需要深入的语言和专业知识，因为它是一种无监督算法。在文本中使用基于图形的排序算法，需要构造一个图形来表达文本、单词和其他实体。

在汉语中，单词、短语、句子等可以作为图中的顶点。通过建立这些顶点之间的关系，如词序关系、语义关系、内容相似性等，可以构造出一个合适的图。

目前，TextRank在中文文本中的应用主要有三个方向，分别是：

1）关键词提取；

2）关键短语提取；

3）自动摘要。

Python中有一个名为textrank4zh的包，它实现了这三个函数。其源地址为:

实现了良好的文本处理效果。

## 效果预览 ##

近日，Tushare Pro发布了近10年来央视新闻播出数据，对数据进行了清理和规范。

然而，每天新闻广播中有成千上万的单词，很难完全读懂。如果我们使用自动摘要技术将成千上万的单词浓缩成10个句子，阅读的负担就会减轻。自动汇总是TextRank的切入点。

在实现这个功能之前，让我们先来看看从新闻中提取的抽象效果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70][]  
![20190127191948380.png][]  
**扣扣 ：13465+25417**

多亏了Tushare的新闻广播标准文本，TextRank的自动摘要看起来非常好。

为什么TextRank这么好用?这主要是因为图排序模型是基于全局信息来计算每个顶点的重要性，而不是仅仅使用局部信息。下面简要介绍TextRank应用于自动摘要的基本原理。

## 基本原理 ##

如前所述，使用TextRank分析文本首先需要在文本上构建一个图表。

对于文本自动摘要的任务，我们使用句子作为图的顶点，句子之间的关系作为图的边。我们需要评估句子之间的相似性。每个句子只与最相似的句子连接，并使用相似度作为边的权重。

事实上，这两句话是相似的，所以可以认为这两句话之间有一种“推荐”关系，也就是说，在读者阅读了这句话之后，这句话推荐读者阅读与之相似的句子。

评价两个句子相似度的方法有很多，如余弦相似度、编辑距离等。TextRank算法使用的是最基本的方法。相似度可以通过计算两个句子中相同单词的数量来计算。此外，还可以添加语法过滤器来过滤单词。

通过确定图的顶点和边以及边的权值，得到了一个加权图，加权图的形状如图1所示。接下来，可以使用PageRank迭代计算每个顶点(句子)的重要性。最后，将最重要的N个句子作为全文的总结，这是TextRank的自动总结结果。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70 1]

## 代码实现 ##

因为textrank4zh已经实现了TextRank的功能，我们可以直接使用它，而且使用非常简单。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70]: /images/20220322/2357b3fb22df4c48a82f812e65e7d314.png
[20190127191948380.png]: /images/20220322/9631d629cc354e51abb6fcd8e33670ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70 1]: /images/20220322/b5846d4485f64dfcad4258e29a4593b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MzYzMDIy_size_16_color_FFFFFF_t_70 2]: /images/20220322/30ec8d5194d042f5a445b6c457383a58.png