词集模型 Set Of Words（SOW）和词袋模型 Bag Of Words（BOW）

素颜马尾好姑娘i 2021-06-24 15:58 359阅读 0赞

SOW和BOW都是将所有文本中单词形成一个字典，然后根据字典来统计单词出现频数。不同的是：  
SOW是单个文本中单词出现在字典中，就将其置为1，而不管出现多少次。  
BOW是单个文本中单词出现在字典中，就将其向量值加1，出现多少次就加多少次。  
注意SOW和BOW都是基于词之间保持独立性，没有关联为前提。这使得其统计方便，但同时也丢失了文本间词之间关系的信息。现有Word Embedding在将单词向量化的同时，一定程度表现单词间距离。

texts = [['a', 'b', 'c', 'd', 'e'],
             ['a', 'a', 'b', 'c', 'a']]

vocabulary = set()
    for text in texts:
    #     取并集
        vocabulary |= set(text)
    vocabulary = list(vocabulary)
    print(vocabulary)
    
    # ['e', 'd', 'a', 'c', 'b']

SOW = []
    for text in texts:
        vec = [0]*len(vocabulary)
    #     从字典开始遍历
        for i, word in enumerate(vocabulary):
            if word in text:
    #             SOW统计方式，如果文本中单词出现在字典中就将向量置为1
                vec[i] = 1
        SOW.append(vec) 
    print(SOW)
    
    # [[1, 1, 1, 1, 1], [0, 0, 1, 1, 1]]

BOW = []
    for text in texts:
        vec = [0]*len(vocabulary)
    #     从文本开始遍历
        for word in text:
            if word in vocabulary:
    #             BOW统计方式，如果文本中单词出现在字典中就将向量值加11
                vec[vocabulary.index(word)] += 1
        BOW.append(vec)
    print(BOW)
    
    # [[1, 1, 1, 1, 1], [0, 0, 3, 1, 1]]

发表评论取消回复

表情：

评论列表（有 0 条评论，359人围观）

还没有评论，来说两句吧...

相关阅读

相关自然语言处理算法中的词袋模型（Bag-of-Words Model）

词袋模型（Bag-of-Words Model）是自然语言处理领域中常用的一种算法，用于将文本数据转化为数值特征。它的基本思想是将文本看作是一个袋子，每个词都是一个独立的单位，

小鱼儿/ 2024年03月26日 23:06/ 0 赞/ 33 阅读

相关词袋模型原理

词袋模型是自然语言处理中一种常用的文本表示方法。它将文本中的单词转换成词袋中的单词向量，每个单词对应一个向量中的元素。这些元素的值表示该单词在语料库中出现的频率。词袋模型忽略了

古城微笑少年丶/ 2024年03月26日 08:51/ 0 赞/ 18 阅读

相关 Java使用Openimaj构建视觉词袋模型

文章目录视觉词袋模型 Java实现本文作者：合肥工业大学管理学院 qianyang email：1563178220@qq.com 内容可能有不

Myth丶恋晨/ 2022年12月19日 01:25/ 0 赞/ 183 阅读

相关视觉词袋模型

转载自： http://blog.sina.com.cn/s/blog\_65e1c60b0100zr1z.html Bag of Visual Word

ゝ一世哀愁。/ 2022年08月19日 15:21/ 0 赞/ 139 阅读

相关视觉词袋模型（Bag of Visual Word）

本文转载自：http://blog.sina.com.cn/s/blog\_65e1c60b0100zr1z.html Bag of Visual Word M

爱被打了一巴掌/ 2022年07月13日 04:10/ 0 赞/ 427 阅读

相关文档词袋模型

词袋模型记录了单词在词汇表中出现的次数。 def loadDataSet(): 创建文档集合以及标签 postingList = [['my', 'd

深藏阁楼爱情的钟/ 2022年06月03日 03:54/ 0 赞/ 184 阅读

相关 BOW词袋模型

转载自[https://blog.csdn.net/u010213393/article/details/40987945][https_blog.csdn.net_u0102

逃离我推掉我的手/ 2022年05月19日 01:58/ 0 赞/ 162 阅读

相关 SLAM回环检测中的（Bag-of-Words）词袋模型

• 视觉里程计仅用相邻帧图像估计运动，存在累积误差 • 回环检测通过发现到达过的地方，可以有效修正运动轨迹，消除累积误差 • 从而保证了轨迹与

Love The Way You Lie/ 2022年03月25日 08:24/ 0 赞/ 654 阅读

相关通俗易懂之词袋模型

简单实例：假设有两句话：第一句：I love HongKong. 第二句：I love China. 根据这两句话，构建一个词典：\{I:1,love:2,H

青旅半醒/ 2021年10月15日 10:13/ 0 赞/ 376 阅读

相关词集模型 Set Of Words（SOW）和词袋模型 Bag Of Words（BOW）

SOW和BOW都是将所有文本中单词形成一个字典，然后根据字典来统计单词出现频数。不同的是： SOW是单个文本中单词出现在字典中，就将其置为1，而不管出现多少次。 BOW

素颜马尾好姑娘i/ 2021年06月24日 15:58/ 0 赞/ 360 阅读