python 词频的统计多种方式

谁借莪１个温暖的怀抱￠ 2022-05-30 05:53 328阅读 0赞

现有列表如下：

\[6, 7, 5, 9, 4, 1, 8, 6, 2, 9\]

希望统计各个元素出现的次数，可以看作一个词频统计的问题。

我们希望最终得到一个这样的结果：\{6:2, 7:1...\}即 \{某个元素：出现的次数...\}

首先要将这些元素作为字典的键，建立一个初值为空的字典：

![复制代码][copycode.gif]

>>> from random import randint
    >>> l = [randint(1,10) for x in xrange(10)]
    >>> l
    [6, 7, 5, 9, 4, 1, 8, 6, 2, 9]
    >>> d = dict.fromkeys(l, 0)
    >>> d
    {
         1: 0, 2: 0, 4: 0, 5: 0, 6: 0, 7: 0, 8: 0, 9: 0}
    # 现在的任务是需要将d中每个键所对应的值统计出来
    >>> for x in l:
    >>>     d[x] += 1
    >>> d
    {
         1: 1, 2: 1, 4: 1, 5: 1, 6: 2, 7: 1, 8: 1, 9: 2}
    # 这就统计完了所有的元素出现的次数

![复制代码][copycode.gif]

另外一种方法，利用collections模块中的Counter对象

![复制代码][copycode.gif]

>>> from collections import Counter
    # 这个Counter可以直接接受一个列表，将它转化为统计完成的结果
    >>> d = Counter(l)
    >>> d
    Counter({
         6: 2, 9: 2, 1: 1, 2: 1, 4: 1, 5: 1, 7: 1, 8: 1})
    # 该Counter对象是字典对象的子类，也可以通过键来访问对应值
    >>> d[6]
    2
    # Counter对象方便之处在于它内置有most_common(n)方法，可以直接统计出前n个最高词频
    >>> d.most_common(2)
    [(6, 2), (9, 2)]

![复制代码][copycode.gif]

下面进行实践，对某篇文章进行词频统计，得到词频最高的十个词。

>>> import re
    >>> from collections import Counter
    >>> txt = open('CodingStyle.txt').read()
    >>> new_txt = re.split('\W+', txt)
    >>> result = Counter(new_txt)
    >>> result.most_common(10)

# 使用python对中文文档进行词频统计 #

*  15247

1、使用jieba先对中文文档进行分词处理

需要处理的clean\_data.csv文件内容（三列）

http://you.ctrip.com/travels/1322/1360550.html   地中海邮轮+罗马深度自由行      宅猫行天下       
http://you.ctrip.com/travels/1400/1600356.html  柏林&安纳西     老鼠m

**\[python\]**  [view plain][]  [copy][view plain]

1.  import sys  
2.  reload(sys)  
3.  sys.setdefaultencoding("utf-8")  
4.    
5.  import jieba  
6.  import jieba.analyse  
7.    
8.  wf = open('clean\_title.txt','w+')  
9.  for line in open('/root/clean\_data/clean\_data.csv'):  
10.   
11.     item = line.strip('\\n\\r').split('\\t') //制表格切分  
12.     \# print item\[1\]  
13.     tags = jieba.analyse.extract\_tags(item\[1\]) //jieba分词  
14.     tagsw = ",".join(tags) //逗号连接切分的词  
15.     wf.write(tagsw)  
16.   
17. wf.close()

输出的clean\_title.txt内容

**\[python\]**  [view plain][]  [copy][view plain]

1.  邮轮,地中海,深度,罗马,自由纳西,柏林签证,步行,三天,批准申根,手把手,签证,申请,如何赞爆,法兰,穿越,葡萄酒,风景,河谷,世界欧洲颜色,一种,国家,一个水族箱,帕劳,七日,上帝奥林匹亚,跑步圣托,  
2.  里尼,文明古国,探访,爱琴海,魅力,希腊

2、统计词频

**\[python\]**  [view plain][]  [copy][view plain]

1.  \#!/usr/bin/python  
2.  \# -\*- coding:utf-8 -\*-  
3.    
4.  word\_lst = \[\]  
5.  word\_dict= \{\}  
6.  with open('/root/clean\_data/clean\_title.txt') as wf,open("word.txt",'w') as wf2: //打开文件  
7.    
8.      for word in wf:  
9.          word\_lst.append(word.split(',')) //使用逗号进行切分  
10.         for item in word\_lst:  
11.              for item2 in item:  
12.                 if item2 not in word\_dict: //统计数量  
13.                     word\_dict\[item2\] = 1  
14.                 else:  
15.                     word\_dict\[item2\] += 1  
16.   
17.     for key in word\_dict:  
18.         print key,word\_dict\[key\]  
19.         wf2.write(key+' '\+str(word\_dict\[key\])+'\\n') //写入文档

结果：

**\[python\]**  [view plain][]  [copy][view plain]

1.  最后 4  
2.  欧洲幽蓝 1  
3.  集美 1  
4.  葡萄牙法多 1  
5.  工地 1  
6.  知道湖光山色 1  
7.  神圣 7  
8.  欧洲少女瑞士加游 1

根据词汇数量排序查看：

cat word.txt |sort -nr -k 2|more

**\[python\]**  [view plain][]  [copy][view plain]

1.  神圣 7  
2.  最后 4  
3.  欧洲幽蓝 1  
4.  集美 1  
5.  葡萄牙法多 1  
6.  工地 1  
7.  知道湖光山色 1  
8.  欧洲少女瑞士加游 1  
9.

[copycode.gif]: /images/20220530/c3f9b5594c604dde91af6f617150202a.png
[view plain]: http://blog.csdn.net/levy_cui/article/details/53129506#

发表评论取消回复

表情：

评论列表（有 0 条评论，328人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 76 阅读

相关【Python】文本词频统计

![format_png][] 哈姆雷特英文 [https://python123.io/resources/pye/hamlet.txt][https_python123

我不是女神ヾ/ 2023年07月25日 09:19/ 0 赞/ 126 阅读

相关 python 词频统计，分词笔记

Python的中文分词库有很多，常见的有： [jieba][]（结巴分词） [THULAC][]（清华大学自然语言处理与社会人文计算实验室） [pkuseg

怼烎@/ 2022年10月13日 15:53/ 0 赞/ 308 阅读

相关词频统计器--python dict

吐槽平时就比较常用的统计器老是写的很low，最近看到了一个比较优雅的写法记录一下。需求想对jieba.cut返回的分词列表进行字频统计。代码优化

本是古典何须时尚/ 2022年06月02日 03:15/ 0 赞/ 217 阅读

相关 python 词频的统计多种方式

现有列表如下： \[6, 7, 5, 9, 4, 1, 8, 6, 2, 9\] 希望统计各个元素出现的次数，可以看作一个词频统计的问题。我们希望最终得到一个这样的结果

谁借莪１个温暖的怀抱￠/ 2022年05月30日 05:53/ 0 赞/ 329 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 384 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 302 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 262 阅读

相关 Python3 简单实现词频统计

Python3 统计单词出现的行数以 [红楼梦][Link 1] 的数据为例，Python 实现: with open('红楼梦.txt', 'r', enc

深藏阁楼爱情的钟/ 2021年12月15日 14:59/ 0 赞/ 390 阅读

相关文件方式实现完整的英文词频统计实例

news='''Geng Jiasheng, 54, a national master technician in the manufacturing industry, i

女爷i/ 2021年09月30日 07:12/ 0 赞/ 314 阅读