文档摘要自动提取算法——抽取式

我不是女神ヾ 2022-08-06 17:21 612阅读 0赞

**文档摘要自动提取算法——抽取式**

自动提取文档摘要的算法，主流方法分为两类：Extractive 抽取式、Abstractive 概要式。这篇我们主要将抽取式。

抽取式：

从原始文档集中抽取一些具有代表性的文本片段构成摘要，这些片段可以是整个文档中的句子、子句、段落或者小节。

抽取式方法有两个问题，如何对文本单元排序打分；如何抽取文本单元的一个子集生成摘要。分别对应着排序单元和抽取单元。

通俗讲就是，先用排序单元把文档中的单元排序，选择排名靠前的单元，再用抽取单元去除选出来的单元之间的冗余信息，得到最后的自动摘要。

两种实现思路：1）排序单元给句子打分，抽取单元抽取（去除冗余）句子子集作为摘要；2）排序单元给文档集中的概念打分，抽取单元抽取一组能够最大限度覆盖重要概念的句子。

对于排序单元，有三种学习排序算法：

1） pointwise排序：孤立地处理每个样本（句子或者概念），把句子的特征和标记（排序等级）输入到机器学习算法中，学习出分类器；

2） pairwise排序：从一系列句子对或者概念对\{(x\_i, x\_j)\}中学习排序函数f(x\_i)。考虑了两两样本之间的排序问题；

3） listwise排序：所有样本之间的排序都考虑在内。

一定程度上，学习排序算法（LTR）和多标记学习里的方法是类似的，一阶/二阶/高阶方法。

对于抽取单元，需要从排序后的文本单元中，抽取一部分代表性的句子，生成抽取式摘要，在抽取的过程中，要尽可能地去除冗余。常用的是一个基于整数规划的抽取方法。

![Center][]

![Center 1][]

![Center 2][]

求解上面的整数规划，我们就可以得到哪些句子是需要抽取出来，组成摘要的。

参考文献：

文档摘要算法的研究与应用 金锋

[Center]: /images/20220805/31c7e16e60d444d6a295944bb49f0dbe.png
[Center 1]: /images/20220805/ff3e9620399847129b44de792089e39b.png
[Center 2]: /images/20220805/dd50094262044ee0b694ac7a556d741c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，612人围观）

还没有评论，来说两句吧...

相关阅读

相关 NLP-文本摘要-2004：LexRank（无监督图模型）【属于机器学习范畴；由PageRank网页重要性分数衍生而来；用于文本“关键词”、 “关键句” 提取、抽取式摘要】

[《原始论文：LexRank: Graph-based Lexical Centrality as Salience in Text Summarization》][LexRa

àì夳堔傛蜴生んèń/ 2023年10月01日 11:12/ 0 赞/ 2 阅读

相关评估 | 自动摘要评估

1.rouge评估，英文中文都可以。中文，都可以使用rouge评估，代码： -- coding: utf-8 -- from rouge import

￡神魔★判官ぃ/ 2022年12月13日 12:56/ 0 赞/ 188 阅读

相关 nlp中文文本摘要提取，快速提取文本主要意思

文本摘要提取之前写过一版文本摘要提取，但那版并不完美。有所缺陷（但也获得几十次收藏）。 [中文文本摘要提取（文本摘要提取有代码）基于python][_ _py

悠悠/ 2022年11月12日 12:57/ 0 赞/ 324 阅读

相关文本关键词提取算法及自动摘要

[文本关键词提取算法][Link 1] [蛙蛙推荐：蛙蛙牌关键词提取算法][Link 2]

谁践踏了优雅/ 2022年09月24日 05:20/ 0 赞/ 205 阅读

相关文档摘要自动提取算法——抽取式

文档摘要自动提取算法——抽取式自动提取文档摘要的算法，主流方法分为两类：Extractive 抽取式、Abstractive 概要式。这篇我们主要将抽取式。

我不是女神ヾ/ 2022年08月06日 17:21/ 0 赞/ 613 阅读

相关摘要算法

1 SHA1[算法][Link 1]简介安全哈希算法（Secure Hash Algorithm）主要适用于数字签名标准（Digital Signature Standar

谁借莪１个温暖的怀抱￠/ 2022年07月11日 07:26/ 0 赞/ 191 阅读

相关消息摘要算法-HMAC算法

转载地址：http://blog.csdn.net/feiyangxiaomi/article/details/34445005 一、简述 mac（Message Au

红太狼/ 2022年06月12日 13:38/ 0 赞/ 197 阅读

相关摘要算法

摘要算法是一种能产生特殊输出格式的算法，这种算法的特点是：无论用户输入多少长度的原始数据，经过计算后输出的密文都是固定长度的，这种算法的原理是根据一定的运算规则对

逃离我推掉我的手/ 2022年05月11日 21:53/ 0 赞/ 227 阅读

相关消息摘要算法

定义：消息摘要算法又称为散列算法，其核心在于散列函数的单向性。即通过散列函数可获得对应的散列值，但不可通过该散列值反推其原始数据信息，这是消息摘要算法的安全性的根本所在

快来打我*/ 2022年04月24日 02:48/ 0 赞/ 245 阅读

相关消息摘要算法

消息摘要算法可以保证消息的完整性一、MD算法 MD算法有MD2、MD3、MD4、MD5，MD5是前面算法改进而来，如果需要使用其他算法，下面的MD5都可以转换为响应

叁歲伎倆/ 2022年04月14日 03:49/ 0 赞/ 243 阅读