用hadoop自带的wordcount测试

缺乏、安全感 2022-05-27 11:14 215阅读 0赞

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中

./hadoop fs -put /root/example.txt /user/root

2、执行hadoop-mapreduce-examples-2.8.0.jar

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output

3、按照[搭建集群][Link 1]这篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml，wordcunt会卡在INFO mapreduce.Job: map 0% reduce 0%

<property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property

按照如上配置，则使用yarn来进行计算，那么必须启动nodemanager,

如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：

<property>
            <name>mapreduce.job.tracker</name>
            <value>hdfs://hserver2:8001</value>
            <final>true</final>
    <property>

![这里写图片描述][70]

修改后，重新运行wordcunt  
![这里写图片描述][70 1]  
4、查看输出的统计

./hadoop fs -cat /output/part-r-00000

![这里写图片描述][70 2]

至此，wordcunt测试完成。

[Link 1]: https://blog.csdn.net/u012343297/article/details/79963191
[70]: /images/20220527/19d5ff66ae9b44d1bfc241fda372fb30.png
[70 1]: /images/20220527/0c714c1d04fb414482a60cca0698a7ac.png
[70 2]: /images/20220527/fe303fc14be2456685385893a8efa3ef.png

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 官方WordCount案例带你手把手的解析

文章目录 1.需求 2.需求分析 3.项目结构图 4.项目依赖包 5.编写Mapper

浅浅的花香味﹌/ 2022年12月17日 02:26/ 0 赞/ 149 阅读

相关 hadoop 自带示例wordcount 详细运行步骤

因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了Hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽

矫情吗；*/ 2022年08月21日 10:42/ 0 赞/ 147 阅读

相关入门Hadoop的WordCount程序

入门Hadoop的WordCount程序本篇文章主要说两部分：简单介绍MapReduce的工作原理；详细解释WordCount程序。 1. MapReduce的工

偏执的太偏执、/ 2022年08月10日 11:56/ 0 赞/ 173 阅读

相关 hadoop之wordcount

1、搭建好一个hadoop程序： [hadoop完全伪分布式搭建][hadoop] 2、在myeclipse的安装目录下导入hadoop插件： ![这里写图片描述][S

布满荆棘的人生/ 2022年06月10日 05:11/ 0 赞/ 211 阅读

相关 hadoop wordcount

在hdfs上的文本内容如下 hello world hello java hello c hello hadoop map reduce 以下

我会带着你远行/ 2022年06月07日 10:14/ 0 赞/ 204 阅读

相关用hadoop自带的wordcount测试

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/r

缺乏、安全感/ 2022年05月27日 11:14/ 0 赞/ 216 阅读

相关 hadoop_mapreduce_wordcount例子

1. Wordcount例子 1) 数据流： ![20180509153101919][] 2) Map Map需要派生自map，四个参数为k1,v1,k2,v2的数

系统管理员/ 2022年05月25日 06:26/ 0 赞/ 213 阅读

相关 java hadoop wordcount

是什么？ hadoop 入门栗子，跑一个单词统计功能。为什么？理解一个MR，后面都是小事。万事开头难，一旦上了路接下来的借简单了。怎么

素颜马尾好姑娘i/ 2022年05月17日 11:16/ 0 赞/ 210 阅读

相关如何用javac编译hadoop自带的WordCount mapreduce程序

1、WordCount实例需要如下三个jar包在/etc/profie中加入以下路径 \打包word count程序 export

短命女/ 2022年02月16日 14:58/ 0 赞/ 233 阅读

相关 hadoop 的wordcount 程序

配置本地windows 可以参考本人博客 1.启动配置 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cH

雨点打透心脏的1/2处/ 2022年01月25日 15:24/ 0 赞/ 252 阅读