大数据：Hadoop入门案例，命令行wordcount统计

灰太狼 2024-02-19 21:53 44阅读 0赞

## 大数据：Hadoop入门案例，命令行wordcount统计 ##

以Hadoop自带的wordcount为例，说明如何在Windows环境下，统计若干文件中的单词出现次数。

上传要统计的文件。假设在计算机本地有三个文件，f1.txt，f2.txt，f3.txt，这个三个文件位于E:/myfile文件夹下，需要把myfile整个文件上传到HDFS上。本例目的就是统计存放到HDFS中的f1,f2,f3这三个文件中的单词个数。

1、需要现在HDFS上创建一个文件夹，假设这个文件夹名字为test\_dir。在HDFS上创建test\_dir文件夹：

hadoop dfs -mkdir /test_dir

2、把本地的myfile文件夹全部上传到HDFS中的test\_dir下：

hadoop dfs -put E:/hadoop/myfile  /test_dir

此时HDFS中test\_dir文件层次结构：

hdfs dfs -ls -R /test_dir

如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70][]

3、使用Hadoop自带的hadoop-mapreduce-examples-2.8.3.jar程序包统计myfile目录下f1,f2,f3三个文件的单词数。hadoop-mapreduce-examples-2.8.3.jar位于hadoop-2.8.3\\share\\hadoop\\mapreduce下面。

命令：

hadoop jar E:/hadoop/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /test_dir/myfile  /test_dir/result

wordcount是hadoop-mapreduce-examples-2.8.3.jar的主类名。

/test\_dir/myfile是jar程序包要统计的文件目录（若是具体的文件，则统计单个文件的单词数；若是文件夹，则统计该文件夹下所有文件中包含的单词数）。

/test\_dir/result是最终存放统计结果的目录。注意，/test\_dir/result目录必须是先前不存在的，让程序jar包运行时创建。

运行成功后，则会在result目录下生成两个文件：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1][]

其中part-r-00000文件存放了最终的统计结果，使用命令查看：

hdfs dfs -text /test_dir/result/part-r-00000

如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2][]

统计结果符合我在文件中写入的单词数量。表明一切运行正常。

附：

Hadoop中HDFS文件操作命令： [https://zhangphil.blog.csdn.net/article/details/98965527][https_zhangphil.blog.csdn.net_article_details_98965527]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/67f81fbdcc344f4cb4f3886194afb7da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a28604fb680d40b7a7de21c712db84c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFuZ3BoaWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/eab17f57735e4dad958aeeb0eda98698.png
[https_zhangphil.blog.csdn.net_article_details_98965527]: https://zhangphil.blog.csdn.net/article/details/98965527