利用Python及第三方库进行词频统计工作

谁借莪１个温暖的怀抱￠ 2023-02-18 08:16 145阅读 0赞

jieba（结巴）是Python的一个第三方库，用于中文分词，它有以下三种特性：

*  支持 3 种分词模式：精确模式、全模式、搜索引擎模式
 *  支持繁体分词
 *  支持自定义词典

**关于jieba本次不做过多讨论，改日会专门介绍（咕咕咕）**

利用jieba，我们可以对字段、文章或是文档文件进行词频分析工作  
废话不说，直接上代码：

#!/usr/bin/env Python
    # coding=utf-8
    
    # @author:神乐坂几禾
    # @time:2020-6-8 20:00
    # @discribe:counts of word frequency
    
    # 导入jieba第三方库
    import jieba
    
    # 导入外部文件
    f=open("关于实施乡村振兴战略的意见.txt","r",encoding='utf-8')
    
    # 读取文件并通过jieba分词
    txt=f.read()
    words=jieba.lcut(txt)
    
    # 新建映射字典counts
    counts={
        }
    for word in words:
        # 这里是限制词语长度
        if len(word) == 4:
            counts[word]=counts.get(word,0)+1
    
    # 转换成列表
    items=list(counts.items())
    
    #词频按降序排序
    items.sort(key=lambda x:x[1],reverse=True)
    
    #打印输出排名前15的词语
    for i in range(15):
        word,count=items[i]
        print("{0:<10}{1:>5}".format(word,count))

我这里也是找了一篇文章《关于实施乡村振兴战略的意见》，我们就可以用该程序对这篇文档进行分析了，运行之后在控制台终端打印的结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjkwMDUw_size_16_color_FFFFFF_t_70_pic_center]  
由于程序中限定了词语的长度，还可以根据个人喜好或者工作需求更改。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjkwMDUw_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200616170543626.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjkwMDUw,size_16,color_FFFFFF,t_70#pic_center