hadoop学习笔记之hadoop伪分布集群搭建（五）

冷不防 2022-06-01 04:19 206阅读 0赞

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）

默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......

============================================================

内容如下：

一、给主机服务器（Centos 6.4）配置IP地址

二、安装jdk，并配置环境变量

三、安装hadoop

四、ssh免密登录

五、HDFS & MapReduce 运行测试

=======================================================

1、测试HDFS

（1）查看hdfs文件系统

hdfs提供了一个web服务，我们可以通过网页访问hdfs里面的文件

打开浏览器在里面地址栏输入:http://work01:50070即可

![20180119164018148][]

其实这个时候我们的浏览器是不认识work01是什么的，要想让浏览器认识，同样需要我们修改windows里面的hosts文件，位置在C:\\Windows\\System32\\drivers\\etc\\hosts

![20180119164112057][]

打开在最后一行添加work01及对应的IP地址即可

![20180119164330834][]

然后再次刷新浏览器就可以看到如下界面![20180119164407442][]

![20180119164433161][]

同样hdfs的文件系统也可以通过浏览器进行浏览

![20180119164504029][]

打开之后如下：可以看到此时的根目录下没有任何文件

![20180119164526692][]

（2）上传文件到hdfs文件系统

接下来我们就上传一个文件到hdfs文件系统里，我们将jdk的安装包上传到hdfs文件系统的根目录下

上传文件的命令为：hadoop fs -put filename hdfspath

![20180119164551554][]

再次打开浏览器，刷新可以看到已经上传成功

![20180119164747102][]

（3）从hdfs文件系统中下载文件到本地

我们首先删除本地的jdk安装包，然后从hdfs文件系统中下载刚才上传上去的jdk安装包

删除文件命令： rm -rf filename

![20180119165013848][]

下载hdfs文件系统中的文件命令： hadoop fs -get filepath(此路径是hdfs上的绝对路径)

![20180119165111315][]

**说明：**

其实hdfs文件系统是一个抽象的文件系统，这个系统和我们本地的文件系统不冲突，即使删除了本地的文件，已经上传到hdfs的文件依然存在。上传的文件其实已经不是一个完整的文件了，而是被切分后存储在DataNode所在的机器中，即之前设置的hadoop.tmp.dir对应的路径里面。

至此，hdfs文件系统可以正常运行。

2、测试MapReduce

我们可以利用hadoop安装包里的例子程序来测试MapReduce

首先找到例子程序所在的位置 /app/hadoop-2.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar

![20180119165556168][]

![20180119165612080][]

hadoop-mapreduce-examples-2.4.1.jar 这个里面包含了好多MapReduce测试程序，我们只需要给定一些参数，就可以运行指定的MapReduce程序

*  我们运行一下一个计算圆周率PI的MapReduce程序

命令是： hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5  
 ![20180119165711799][]

其中 pi 指定运行哪个程序，第一个5指定map的个数，第二个5指定map的采样数，这个数越大，pi越接近真实的。 运行结束结果如下：

![20180119165856298][]

....

![20180119165908628][]

最后的结果直接打印出来了，3.68，与真实值差的有点远（本次只是为了测试），其实给定的参数越大最后的结果越接近真实值。

*  我们再运行一下另一个测试，WordCount程序，该程序是统计文件中单词的个数

首先我们建一个文本文件命令：vi test.txt

输入内容：

![20180119170226859][]

既然MapReduce是在集群上运行的，那么我们要把文件上传到hdfs集群上去，

首先在根目录下建一个文件夹目录 /wordcount/input（注意，hdfs不支持多级文件夹的建立，如果上级文件夹不存在，则必须先建立上级文件夹才行）![20180119170303006][]

建完之后可以通过浏览器打开查看，文件夹已经存在

![20180119170412308][]

![20180119170444039][]

然后将文件上传到input文件夹中，命令：hadoop fs -put test.txt /wordcount/input

![20180119170540753][]

可以查看一下已经上传成功

![20180119170609639][]

现在我们统计test.txt文件中的单词个数

命令：hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount/input /wordcount/output

![20180119170825181][]

运行完以后，我们可以查看输出结果

![20180119170857457][]

文件part-r-00000里面存放的就是刚才的输出结果，

![20180119170943220][]

当然，也可以通过浏览器下载文件查看

\-------------------------------------------------------------------------------------------

至此，我们的hadoop伪分布集群就已经搭建完成（虽然只有一个节点），其实真实的集群和伪分布集群的搭建方式是一样的，只不过是多了很多DataNode节点，只需要在Slaves文件中添加相应的机器名，修改相应的配置文件即可。

[20180119164018148]: /images/20220601/e2c94c5df8d0446d9e92ad1efc1d75f0.png
[20180119164112057]: /images/20220601/e3bd3b5a26754ad291841d757c3d6e62.png
[20180119164330834]: /images/20220601/e42ea52a247442b78d98e95e00ad335c.png
[20180119164407442]: /images/20220601/2c402522f26144898ec073b9bd28a3ad.png
[20180119164433161]: /images/20220601/7db836ce293345cb8551899d788074b9.png
[20180119164504029]: /images/20220601/b0d121127aee4ce5bdd61b54c3d84c47.png
[20180119164526692]: /images/20220601/1872fa5cb60d4371b8e1187d9dde8263.png
[20180119164551554]: /images/20220601/323ddc5ab5634188ac18a06310e1ef7b.png
[20180119164747102]: /images/20220601/0cb514cb866b4c05a5af0b787cd21059.png
[20180119165013848]: /images/20220601/2899557992904419b46976cd22cd2767.png
[20180119165111315]: /images/20220601/e93d55e9a4ea45659543211ba788e1c5.png
[20180119165556168]: /images/20220601/270b43e56faf4375ac4e397720a1f481.png
[20180119165612080]: /images/20220601/ebc5ba65380044f9aca1099dba39dbd3.png
[20180119165711799]: /images/20220601/6c62629a971547f085e1bf31cd368f9d.png
[20180119165856298]: /images/20220601/76507236886840a9847ed3754798129c.png
[20180119165908628]: /images/20220601/272f519ad23d40feba52bdab4ad12c1a.png
[20180119170226859]: /images/20220601/c3df186f152a4ccc97fb0cc13741454f.png
[20180119170303006]: /images/20220601/2d0949dfaed8450b859441b10183df83.png
[20180119170412308]: /images/20220601/7be8742e81954908a38665d66a2eb25e.png
[20180119170444039]: /images/20220601/e2f92723e4bb4e41a425747277dc4b1c.png
[20180119170540753]: /images/20220601/2756b1313bd54448afaead4d66292419.png
[20180119170609639]: /images/20220601/ce6d34c0807046048c01045a4e7a55b0.png
[20180119170825181]: /images/20220601/fd372857493e4558b743aef0ba1adeda.png
[20180119170857457]: /images/20220601/5197fe37936f4dd3baa23f9d230ec096.png
[20180119170943220]: /images/20220601/34af157a8b354d1f82df39d407312916.png