Doc2Bow简介与实践Demo

Bertha 。 2022-05-23 07:59 167阅读 0赞

Doc2Bow是Gensim中封装的一个方法，主要用于实现Bow模型，下面主要介绍下Bow模型。

## 1、BoW模型原理 ##

Bag-of-words model (BoW model) 最早出现在自然语言处理（Natural Language Processing）和信息检索（Information Retrieval）领域.。该模型忽略掉文本的语法和语序等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。**BoW使用一组无序的单词(words)来表达一段文字或一个文档.**。近年来，**BoW模型被广泛应用于计算机视觉中。**  
基于文本的BoW模型的一个简单例子如下：  
首先给出两个简单的文本文档如下：

John likes to watch movies. Mary likes too.
        John also likes to watch football games.

基于上述两个文档中出现的单词，构建如下一个词典 (dictionary)：

{"John": 1, "likes": 2,"to": 3, "watch": 4, "movies": 5,"also": 6, "football": 7, "games": 8,"Mary": 9, "too": 10}

上面的词典中包含10个单词, 每个单词有唯一的索引, 那么每个文本我们可以使用一个10维的向量来表示。如下：

[1, 2, 1, 1, 1, 0, 0, 0, 1, 1]
         [1, 1,1, 1, 0, 1, 1, 1, 0, 0]

该向量与原来文本中单词出现的顺序没有关系，而是词典中每个单词在文本中出现的频率。  
也是通过余弦定理计算两个句子的相似度。

## 2、实践Demo ##

import gensim
    import jieba
    # 训练样本
    from gensim import corpora
    from gensim.similarities import Similarity
    
    
    # fin = open("questions.txt",encoding='utf8').read().strip(' ') #strip()取出首位空格
    jieba.load_userdict("userdict.txt")
    stopwords = set(open('stopwords.txt',encoding='utf8').read().strip('\n').split('\n'))   #读入停用词
    raw_documents = [
        '0无偿居间介绍买卖毒品的行为应如何定性',
        '1吸毒男动态持有大量毒品的行为该如何认定',
        '2如何区分是非法种植毒品原植物罪还是非法制造毒品罪',
        '3为毒贩贩卖毒品提供帮助构成贩卖毒品罪',
        '4将自己吸食的毒品原价转让给朋友吸食的行为该如何认定',
        '5为获报酬帮人购买毒品的行为该如何认定',
        '6毒贩出狱后再次够买毒品途中被抓的行为认定',
        '7虚夸毒品功效劝人吸食毒品的行为该如何认定',
        '8妻子下落不明丈夫又与他人登记结婚是否为无效婚姻',
        '9一方未签字办理的结婚登记是否有效',
        '10夫妻双方1990年按农村习俗举办婚礼没有结婚证 一方可否起诉离婚',
        '11结婚前对方父母出资购买的住房写我们二人的名字有效吗',
        '12身份证被别人冒用无法登记结婚怎么办？',
        '13同居后又与他人登记结婚是否构成重婚罪',
        '14未办登记只举办结婚仪式可起诉离婚吗',
        '15同居多年未办理结婚登记，是否可以向法院起诉要求离婚'
    ]
    corpora_documents = []
    for item_text in raw_documents:
        item_str = jieba.lcut(item_text)
        print(item_str)
        corpora_documents.append(item_str)
    print(corpora_documents)
    # 生成字典和向量语料
    dictionary = corpora.Dictionary(corpora_documents)
    corpus = [dictionary.doc2bow(text) for text in corpora_documents]
    #num_features代表生成的向量的维数（根据词袋的大小来定）
    similarity = Similarity('-Similarity-index', corpus, num_features=400)
    
    test_data_1 = '你好，我想问一下我想离婚他不想离，孩子他说不要，是六个月就自动生效离婚'
    test_cut_raw_1 = jieba.lcut(test_data_1)
    
    print(test_cut_raw_1)
    test_corpus_1 = dictionary.doc2bow(test_cut_raw_1)
    similarity.num_best = 5
    print(similarity[test_corpus_1])  # 返回最相似的样本材料,(index_of_document, similarity) tuples
    
    print('################################')
    
    test_data_2 = '家人因涉嫌运输毒品被抓，她只是去朋友家探望朋友的，结果就被抓了，还在朋友家收出毒品，可家人的身上和行李中都没有。现在已经拘留10多天了，请问会被判刑吗'
    test_cut_raw_2 = jieba.lcut(test_data_2)
    print(test_cut_raw_2)
    test_corpus_2 = dictionary.doc2bow(test_cut_raw_2)
    similarity.num_best = 5
    print(similarity[test_corpus_2])  # 返回最相似的样本材料,(index_of_document, similarity) tuples

运行结果：  
![这里写图片描述][70]

针对以上程序，你可以自定义词库和停用词来使最终的结果更好。

参考：[https://blog.csdn.net/vs412237401/article/details/52238248][https_blog.csdn.net_vs412237401_article_details_52238248]

[70]: /images/20220523/cc1242ebbafd46f095d39de4cc99c0c0.png
[https_blog.csdn.net_vs412237401_article_details_52238248]: https://blog.csdn.net/vs412237401/article/details/52238248