python3.6实现文档词频统计

谁践踏了优雅 2022-05-23 12:43 199阅读 0赞

摘要：对常见的文本存储格式，如txt、doc、docx，利用Python第三方库jieba进行分词，并进行词频的统计。

环境：win10+pycharm2018.1+Python3.6

第三方库：jieba、docx、win32com

准备文件：stopwords1893停用词表，可从下面链接zhong

最全中文停用词表整理（1893个） - CSDN博客  
[https://blog.csdn.net/shijiebei2009/article/details/39696571][https_blog.csdn.net_shijiebei2009_article_details_39696571]

里面有很多分解方法，具体的功能都有注释说明，在此汇总，以便查阅：

doc2Docx(filePath,fileName,fileType):   调用word软件，将doc转换为docx文件。

deleteFile(file):    删除文件

readDocument(strFile): 获取doc文档内容，将文档内容按段落读入，并存入doc中

readTxt(strFile):获取txt文档内容，并存入txt中

segment(doc):    用jieba分词对输入文档进行分词，并保存至本地（根据情况可跳过）

removeStopWords(seg\_list): 使用stopwords1893.txt停用词表，该函数实现去停用词

wordCount(segment\_list,resultFileName):该函数实现词频的统计，并将统计结果存储至本地。在制作词云的过程中用不到，主要是在画词频统计图时用到。

collect(file,result):  分词结果汇总.txt是记录所有用该程序进行过分词操作的文件，里面存储着文件名和文件所对应的topK的分词。该方法将一个文件的topK分词写入文件。

import jieba
    import docx
    import datetime
    import os #用来删除临时生成的docx
    from win32com import client as wc  #需要先安装pypewin32库 和 word 软件
    
    #address =input("请输入小说的存放位置：")
    
    
    def doc2Docx(filePath,fileName,fileType):
        #调用word软件，将doc转换为docx文件。
        word = wc.Dispatch('Word.Application')
        doc = word.Documents.Open(filePath + "\\" + fileName + "." + fileType)  # 目标路径下的文件
        doc.SaveAs(filePath + "\\" + fileName + ".docx", 12, False, "", True, "", False, False, False, False)  # 转化后路径下的文件
        doc.Close()
        word.Quit()
    
    def deleteFile(file):
        #删除文件
        if os.path.exists(file):
            os.remove(file)
        else:
            print ('不存在要删除的文件:%s' % file)
    
    def readDocument(strFile):
        '''
        获取文档对象，将文档内容按段落读入，并存入doc中
        '''
        file = docx.Document(strFile)
        doc = ""
        for para in file.paragraphs:
            doc = doc + para.text
        # print (doc)
        return doc
    
    def readTxt(strFile):
        try:
            file = open(strFile).read()
        except:
            file = open(strFile, encoding="utf-8").read()
        txt=file
        return txt
    
    def segment(doc):
        '''
        用jieba分词对输入文档进行分词，并保存至本地（根据情况可跳过）
        '''
        seg_list = " ".join(jieba.cut(doc, cut_all=False)) #seg_list为str类型
        i=0
        # document_after_segment = open('分词结果.txt', 'a+')
        # document_after_segment.write(seg_list)
        # document_after_segment.close()
    
        return seg_list
    
    def removeStopWords(seg_list):
        '''
        自行下载stopwords1893.txt停用词表，该函数实现去停用词
        '''
        wordlist_stopwords_removed = []
    
        stop_words = open('stopwords1893.txt')
        stop_words_text = stop_words.read()
    
        stop_words.close()
    
        stop_words_text_list = stop_words_text.split('\n')
        for i in range(len(stop_words_text_list)):
            stop_words_text_list[i]=stop_words_text_list[i].strip()
    
        # print (len(stop_words_text_list))
        # print (stop_words_text_list)
        after_seg_text_list = seg_list.split(' ')
        print (len(after_seg_text_list))
        for word in after_seg_text_list:
            if (word not in stop_words_text_list  and len(word)>=2):
                wordlist_stopwords_removed.append(word)
    
        print (len(wordlist_stopwords_removed))
        # without_stopwords = open('分词结果(去停用词).txt', 'a+')
        # without_stopwords.write(' '.join(wordlist_stopwords_removed))
        # without_stopwords.close()
        return ' '.join(wordlist_stopwords_removed)
    
    def wordCount(segment_list,resultFileName):
        '''
            该函数实现词频的统计，并将统计结果存储至本地。
            在制作词云的过程中用不到，主要是在画词频统计图时用到。
        '''
        word_lst = []
        word_dict = {}
        with open(resultFileName+'词频统计(去停用词).txt','a+') as wf2:
            word_lst.append(segment_list.split(' '))
            for item in word_lst:
                for item2 in item:
                    if item2 not in word_dict:
                        word_dict[item2] = 1
                    else:
                        word_dict[item2] += 1
    
            word_dict_sorted = dict(sorted(word_dict.items(),key = lambda item:item[1], reverse=True))#按照词频从大到小排序
            for key in word_dict_sorted:
                wf2.write(key+' '+str(word_dict_sorted[key])+'\n')
        wf2.close()
    
        result=[]
        i=0
        keyOfTop=15
        for key in word_dict_sorted:
            result.append(key)
            i=i+1
            if(i>=keyOfTop):
                break
    
        return result
    
    def collect(file,result):
        #分词结果汇总.txt是记录所有用该程序进行过分词操作的文件，里面存储着文件名和文件所对应的topK的分词。
        #该方法将一个文件的topK分词写入文件。
        fw=open("分词结果汇总.txt","a")
        fw.write(file+",")
        for i in range(len(result)-1):
            fw.write(result[i]+",")
        fw.write(result[-1]+"\n")
        fw.close()
    
    
    def main():
    
        filePath=input(r"输入文件所在地址 如 C:\Users\代码\txt ：")
        fileName=input(r"输入文件名称,不要类型 如 操作系统概念 ：")
        fileType=input(r"输入文件类型后缀 如 docx ：")
    
        filePath=filePath.replace(" ","")
        fileName=fileName.replace(" ","")
        fileType=fileType.replace(" ","")
    
        if(fileType=="doc"):
            doc2Docx(filePath,fileName,fileType)
            file=filePath + "\\" + fileName + ".docx"
            doc = readDocument(file)
            deleteFile(file)
        elif(fileType=="docx"):
            doc = readDocument(filePath + "\\" + fileName + "." + fileType)
        elif(fileType=="txt"):
            doc = readTxt(filePath + "\\" + fileName + "." + fileType)
    
        seg_list = segment(doc)
        seg_list2 = removeStopWords(seg_list)
        result= wordCount(seg_list2, filePath + "\\" + fileName)
        collect(fileName + "." + fileType,result)
    main()

运行完会生成两个文件：一个是在原文件的文件夹里生成 原文件名（去停用词）.txt，里面存储着具体的分词与词频。第二个文件是在代码所在文件夹里，有一个  分词结果汇总.txt，里面存储着每个文件对应的TopK的词。

![70][]

![70 1][]

总结：

1.分词效果基本依赖于jieba库，效果还算可以。

2.时间方面，一般的kb大小的txt，doc文件，基本是一两秒就分完词。如果用小说这种10Mb左右大小的，时间会长不少，可能需要一分钟左右。如果文件类型是doc（即需要程序转换为docx），则耗时较长，可能需要20秒钟左右。

3.一定要使用停用词表，可以大大提升分词的可辨识性。如果有有特殊需要，可以手动再添加一些停用词。

[https_blog.csdn.net_shijiebei2009_article_details_39696571]: https://blog.csdn.net/shijiebei2009/article/details/39696571
[70]: /images/20220523/7c163b34c403430db49f0b63eedbdfe2.png
[70 1]: /images/20220523/210372113f2c404e92a7289792e9c27e.png