文档分类（特征提取）

系统管理员 2021-05-12 11:55 423阅读 0赞

import nltk
    import random
    from nltk.corpus import movie_reviews
    documents = [(list(movie_reviews.words(fileid)), category)
                 for category in movie_reviews.categories()
                 for fileid in movie_reviews.fileids(category)]
    random.shuffle(documents)
    all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words())
    word_features=list(all_words.keys())[:2000]  #[word for (word, freq) in all_words.most_common(2000)]
    def document_features(document):
        document_words = set(document)
        features = {}#
        for word in word_features:
            features['contains(%s)'% word] = (word in document_words)
        return features
    print(movie_reviews.words('pos/cv957_8737.txt'))
    print(document_features(movie_reviews.words('pos/cv957_8737.txt')))

这个来自于自然语言处理-Python第211页的一个例子。书是基于Python2写的，所以修改了一个地方word\_features=list(all\_words.keys())\[:2000\]

代码主要是检测目标文档中是否包含movie\_reviews.words中的前2000 个词，包含的话返回true。

遇到的问题主要有1、 TypeError: 'dict\_keys' object is not subscriptable![70][]

改成word\_features=list(all\_words.keys())\[:2000\]报错消失

2.return features缩进导致代码在那个地方break。返回的就只有一个特征的判断。修改后问题解决。

[70]: /images/20210511/00ac05d6cad24280a304958ca3ffd4e8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，423人围观）

还没有评论，来说两句吧...

相关阅读

相关美观的图像分类算法——基于形状特征提取

美观的图像分类算法——基于形状特征提取在现代计算机视觉领域中，图像分类是一个极其重要的问题。许多应用程序都需要自动从图像中提取出有意义的信息，并将其标识为某个类别。基于形状

柔情只为你懂/ 2024年03月26日 21:48/ 0 赞/ 102 阅读

相关特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

野性酷女/ 2023年07月08日 16:22/ 0 赞/ 72 阅读

相关 sklearn 特征提取，字典特征提取，文本特征抽提取

sklearn安装在linux或windows终端输入 pip3 install Scikit-learn 安装较慢则替换源 pip config

ゞ浴缸里的玫瑰/ 2023年02月21日 09:20/ 0 赞/ 18 阅读

相关特征工程之特征提取

特征工程之特征提取应用DictVectorizer实现对类别特征进行数值化、离散化应用流程分析应用CountVectoriz

Dear 丶/ 2022年12月28日 11:26/ 0 赞/ 188 阅读

相关图像特征提取（纹理特征）

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。纹理特征（一）特点

水深无声/ 2022年07月15日 01:48/ 0 赞/ 306 阅读

相关图像特征提取（纹理特征）

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。纹理特征（一）特点

爱被打了一巴掌/ 2022年07月15日 01:48/ 0 赞/ 290 阅读

相关图像特征提取(颜色特征)

为了将图像处理中的理论知识运用到通信理论中，所以学习了图像特征提取的部分内容。运用网络和书籍查阅了相关资料，作此总结。 1.特征的定义特征提取是计

╰半橙微兮°/ 2022年07月15日 01:34/ 0 赞/ 686 阅读

相关目标检测的图像特征提取之（四）OpenCV中BLOB特征提取与几何形状分类

OpenCV中BLOB特征提取与几何形状分类一：方法二值图像几何形状提取与分离，是机器视觉中重点之一，在CT图像分析与机器人视觉感知等领域应用广泛，OpenCV

矫情吗；*/ 2022年06月16日 11:30/ 0 赞/ 504 阅读

相关文本分类特征提取之Word2Vec

分类问题是人类所面临的一个非常重要且具有普遍意义的问题，我们生活中的很多问题归根到底都是分类问题。文本分类就是根据文本内容将其分到合适的类别，它是自然语言处理的一个十分重要

逃离我推掉我的手/ 2022年06月01日 06:09/ 0 赞/ 219 阅读

相关文档分类（特征提取）

import nltk import random from nltk.corpus import movie_reviews document

系统管理员/ 2021年05月12日 11:55/ 0 赞/ 424 阅读