使用Python的NLTK快速创建文章简介

àì夳堔傛蜴生んèń 2022-05-18 05:50 190阅读 0赞

如果你对数据分析感兴趣，你会发现学习有关自然语言的处理会非常有用。要是想找一个适合的项目开始学习自然语言处理（NLP），可以尝试编写一个算法在保持文本原意的同时精简其中的内容，或者给原文生成一段深入的理解。

自然语言处理（NLP）有很多的库。在这个项目中，我们将使用NLTK - 一个自然语言工具包。

让我们来开始记录创建该项目的相关步骤。

## 共有4个步骤来生成文章摘要 ##

1.  清除停用词（下文进行说明）以便分析；
2.  创建单词的频次表-每个单词出现在文本中的次数；
3.  根据语句中所包含的单词以及单词对应的频次表对每个句子进行评分；
4.  将得分在一个阈值之上的句子进行结合从而生成摘要。

就是这么简单！而且用Python实现起来也简洁明了。

## 什么是停用词？ ##

对句子的含义不起任何坐拥的词语。比如说下面这句话

> 一群人每天从阿拉法亚的一家银行跑到最近的一个快餐店。  
> （原文：A group of people run every day from a bank in Alafaya to the nearest Chipotle.）

通过删除句子中的停用词，我们可以减少词组数量并保持其原意：

> 一群人每天从阿拉法亚银行跑到最近快餐店。  
> （原文：Group of people run every day from bank Alafaya to nearest Chipotle.）

我们通常会从要分析的文本内容中删除停用词，因为它们出现的频次不会给文本内容带来任何的含义。在这个例子中，我们删除了单词“的”，“个”（英文原文中为：a，in和the）。

## 现在，让我们开始吧！ ##

这里有两个NLTK中的库是高效生成文章摘要所必需的。

from nltk.corpus import stopwords
    from nltk.tokenize import word_tokenize, sent_tokenize

提示：还有更多的库可以使我们生成更好的摘要，其中有一个例子会在本文末尾进行讨论。

### 语料库 ###

语料库是文本内容的基础资源集合。它可以是某位诗人诗歌的数据集，或者是某位作者的作品，等等。在目前的场景下，我们会使用预先处理好的停用词数据集。

### 分词 ###

基本上，这个用来将文本内容划分为一系列标记。有三种主要的分词方式 - 单词，句子和正则分词器。针对目前这个特定项目，我们只使用单词和句子分词器。

## 清除停用词并制作频次表 ##

首先，我们创建两个数组 - 一个用于保存停用词，一个用于保存文本内容中的每个单词。

让我们使用变量 text 记录原始的文本内容。

stopWords = set(stopwords.words("english"))
    words = word_tokenize(text)

其次，我们为单词频次表创建一个字典变量。在这里，我们应该使用不存在停用词数组里的单词。

freqTable = dict()
    for word in words:
        word = word.lower()
        if word in stopWords:
            continue
        
        # 此处对应原文的字典操作做了调整
        if word in freqTable:
            freqTable[word][1] += 1
        else:
            freqTable[word] = [word, 1]

现在，我们可以在每个句子上使用频次字典变量 freqTable 来了解哪些句子与文本内容的主旨具有最相近的含义。

## 给每个句子打一个分数 ##

我们已经有了一个句子分词器，所以我们只需要运行 sent\_tokenize() 方法来创建句子数组。其次，我们需要一个字典变量来保存每个句子的分数，这样我们后面可以通过该字典来生成摘要。

sentences = sent_tokenize(text)
    sentenceValue = dict()

现在是时候根据每个句子中的单词来给句子打一个分数了。其实有很多算法都可以做到这一点 - 总的来说，通过单词对句子进行评分的任何方法都是有效的。这里我选择了一个基本的算法：把句子中每个非停用词的频次分数进行累加。

for sentence in sentences:
        for wordValue in freqTable:
            # 此处对应原文的字典操作做了调整
            if freqTable[wordValue][0] in sentence.lower():
                if sentence[:12] in sentenceValue:
                    sentenceValue[sentence[:12]] += freqTable[wordValue][1]
                else:
                    sentenceValue[sentence[:12]] = freqTable[wordValue][1]

提示：键值为0时代表该单词本身。键值为1时代表该单词的分值。

是否 sentence\[:12\] 这个语法引起了你的注意，那就好。这只是将每个句子截取一部分散列到字典中的简单方法。

请注意，我们的分值算法的一个潜在问题是长句比短句会得到更高的分值。要解决此问题，可以将每个句子的分值除以句子中的单词数。

### 那么，我们该用怎样的数值来衡量得到的分数？ ###

解决该问题的一个简单的方法就是计算句子的平均分数。使用这种方法，要找到一个阈值是件非常容易的事情。

sumValues = 0
    for sentence in sentenceValue:
        sumValues += sentenceValue[sentence]
    
    # Average value of a sentence from original text
    average = int(sumValues/ len(sentenceValue))

那么，怎样算是个好的阈值？错误的阈值可能会生成一个太短或太长的摘要。

平均值可能会是一个较好的阈值。不过对于我的项目，我打算生成较短的摘要，因此我采用的阈值是平均值的1.5倍。

现在，让我们来使用这个阈值，并将我们的句子按顺序保存到摘要当中。

summary = ''
    for sentence in sentences:
            if sentence[:12] in sentenceValue and sentenceValue[sentence[:12]] > (1.5 * average):
                summary +=  " " + sentence

至此你已经完成了！！你现在可以使用打印方法 print(summary) 将摘要输出并查看它的效果。

## 可选的增强方面：创建更智能的频次表 ##

有时，我们想要两个非常相似的词来增加其中一个词的重要性，例如母亲，妈妈和妈咪。为此，我们可以使用Stemmer - 一种算法能将单词转为其词根。

为了运用一个 Stemmer，我们可以引入 NLTK Stemmer 的库。你会发现里面有很多的 Stemmer 方法，每种都是不一样的搜索词根的算法，需要根据特定场景选择不同的算法。

from nltk.stem import PorterStemmer
    ps = PorterStemmer()

然后，在将单词添加到我们的频次表之前，把它们都先传给Stemmer。很重要的一点是，在给每个句子加上相应单词的分数之前，需要先把每个单词的词干进行处理。

## 我们到此已经完成了！ ##

恭喜你！如果你还有任何其他问题或强化该文章摘要功能的都可以和我沟通。

原文翻译自：[https://dev.to/davidisrawi/build-a-quick-summarizer-with-python-and-nltk][https_dev.to_davidisrawi_build-a-quick-summarizer-with-python-and-nltk]

[https_dev.to_davidisrawi_build-a-quick-summarizer-with-python-and-nltk]: https://dev.to/davidisrawi/build-a-quick-summarizer-with-python-and-nltk