统计特定文件中的词频

矫情吗；* 2022-04-16 05:48 186阅读 0赞

**分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangjunshow]**

**也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！**

**查找文件中使用的单词的频率是一件很有意思的事情，下面，我们利用 关联数组，awk，sed，grep 等不同的方式来解决问题。**

**首先，我们需要一个测试用的文本，保存名为 word.txt**

**内容如下：**

Word usedthis  countingthis

**接下来需要编写Shell脚本程序，如下所示：**

#!/bin/bash#Name: word_freq.sh#Description: Find out frequency of words in a fileif [ $# -ne 1 ];then echo "Usage: $0 filename"; exit -1fifilename=$1egrep -o "\b[[:alpha:]]+\b" $filename | \awk '{ count[$0]++ } END{ printf("%-14s%s\n","Word","Count") ; \ for(ind in count) { printf("%-14s%d\n",ind,count[ind]); } }'

**工作原理介绍：**

**1.egrep -o "\\b\[\[:alpha:\]\]+\\b" $filename 用来只输出单词，用 -o 选项打印出由换行符分割的匹配字符序列，这样我们就可以在每行中列出一个单词**

**2.\\b 是单词边界标记符。\[:alpha:\] 是表示字母的字符类**

**3.awk命令用来避免对每一个单词进行迭代**

**下面给出运行的截图：**

![Center][]

**关于awk命令请参考博主的其他博客。**

#### 给我老师的人工智能教程打call！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangjunshow] ####

![这里写图片描述][SouthEast]

[http_blog.csdn.net_jiangjunshow]: https://blog.csdn.net/jiangjunshow/article/details/77338485
[Center]: /images/20220416/2ba047207dac45dcba5684bed03d867c.png
[SouthEast]: /images/20220416/b04a881a0eee4cff8b2a48a4a0464152.png

发表评论取消回复

表情：

评论列表（有 0 条评论，186人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 76 阅读

相关【Python】文本词频统计

![format_png][] 哈姆雷特英文 [https://python123.io/resources/pye/hamlet.txt][https_python123

我不是女神ヾ/ 2023年07月25日 09:19/ 0 赞/ 126 阅读

相关词频统计之《三国演义》

描述：‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪

淩亂°似流年/ 2022年11月16日 01:44/ 0 赞/ 229 阅读

相关 jieba库词频统计_运用jieba库进行词频统计

Python第三方库jieba(中文分词) 一、概述 jieba是优秀的中文分词第三方库 \- 中文文本需要通过分词获得单个的词语 \- jieba是优秀的中文分词第三

古城微笑少年丶/ 2022年11月05日 00:45/ 0 赞/ 196 阅读

相关 MapReduce实战-词频统计、文件合并排序

文章目录环境搭建词频统计输入源码输出合并输入源码输出

r囧r小猫/ 2022年10月21日 03:49/ 0 赞/ 158 阅读

相关统计特定文件中的词频

分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangju

矫情吗；*/ 2022年04月16日 05:48/ 0 赞/ 187 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 384 阅读

相关 jieba库词频统计

一、jieba 库简介 (1) jieba 库的分词原理是利用一个中文词库，将待分词的内容与分词词库进行比对，通过图结构和动态规划方法找到最大概率的词组；除此之外，ji

红太狼/ 2022年01月07日 00:43/ 0 赞/ 299 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 302 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 262 阅读