Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境

忘是亡心i 2022-08-09 03:25 149阅读 0赞

**相关环境：**

虚拟机：VMWare（64位）

Linux版本：centOS6.5 64位

Windows版本：win10 64位

Hadoop版本：2.6.0

Linux中JDK版本：1.7.0\_71（64位）

**参考网页：**

[搭建伪分布式环境的网页][Link 1]

本文是集成上述网页的主要步骤，然后在配置文件的时候略作修改，是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。

在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤，见我的下一篇文章——[Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件][Hadoop II Windows_hadoop2.6.0-eclipse-plugin]

**安装虚拟机**

安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述，网上对这方面的介绍比较多且没有太大难度。

**安装配置Linux中的一些环境**

1）安装Linux中的JDK

在Linux中安装JDK，在这里也不详述。

2）修改主机名

通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示：

![Center][]

重启Linux后查看结果：

![Image 1][]![Center 1][]

3）修改hosts中的主机名

通过sudo vi /etc/hosts修改hosts文件，其中192.168.253.130是我Linux的ip地址。如下图所示：

![Center 2][]

4）配置SSH

![Center 3][]

进入.ssh目录并生成authorized\_keys文件：

![Center 4][]

授权.ssh/文件夹权限为700，authorized\_keys文件权限为600（or 644）

![Center 5][]

ssh验证

![Center 6][]

5）安装hadoop

去官网下载hadoop安装包，这里的版本是2.6.0。[http://apache.fayea.com/hadoop/common/hadoop-2.6.0/][http_apache.fayea.com_hadoop_common_hadoop-2.6.0]

下载成功后，解压在合适的目录中。

通过sudo vi ~/.bash\_profile配置环境变量，分别配置HADOOP\_HOME和PATH：

![Image 1][]![Center 7][]

修改后，使用source ~/.bash\_profile是修改后的环境变量生效。

在hadoop目录下创建文件夹：

![Center 8][]

接下来开始配置hadoop的各种文件，首先进入hadoop的配置文件夹：

![Image 1][]![Center 9][]

修改配置文件hadoop-env.sh，加入"JAVA\_HOME"，如下所示：

![Center 10][]

指定我们自己的"JAVA\_HOME"：

![Center 11][]

修改yarn-env.sh，加入JAVA\_HOME：

![Center 12][]

指定我们自己的JAVA\_HOME：

![Center 13][]

修改配置文件 mapred-env.sh，加入JAVA\_HOME：

![Center 14][]

加入我们自己的JAVA\_HOME

![Center 15][]

修改slaves文件：

![Center 16][]

设置从节点为master，因为我们是伪分布式：

![Center 17][]

修改配置文件core-site.xml：

![Center 18][]

修改core-site.xml后：

![Center 19][]

修改hdfs-site.xml，修改前：

![Center 20][]

修改后：

![Center 21][]

修改yarn-site.xml，修改前：

![Center 22][]

修改后：

![Center 23][]

启动并验证hdfs文件系统是否配置成功：

首先，格式化hdfs文件系统：

![Center 24][]

![Center 25][]

然后cd到sbin目录中，分别启动dfs和yarn：

![Center 26][]

然后就可以通过web控制台查看hdfs了，地址：http://linux的ip:50070/。如果不是用当前Linux访问，而是别的电脑，访问的该地址的时候可能访问不到，此时需要考虑是否是Linux防火墙的问题。

![Center 27][]

![Center 28][]

点击"Live Nodes"，查看一下其他信息：

![Center 29][]

现在试着向hdfs中上传一个文件：

![Center 30][]

hadoop web控制台页面的端口整理：

50070：hdfs文件管理

8088：ResourceManager

8042：NodeManager

19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)

[Link 1]: http://blog.csdn.net/stark_summer/article/details/43484545
[Hadoop II Windows_hadoop2.6.0-eclipse-plugin]: http://blog.csdn.net/baimusensen/article/details/49023483
[Center]: /images/20220731/97de3cf4685e458380f8d57c6686bd9c.png
[Image 1]: 
[Center 1]: /images/20220731/4ea5eb5f2d7b432d8f052cbaa7504aa1.png
[Center 2]: /images/20220731/c6fdce5e25694fdd96956f5985e41b18.png
[Center 3]: /images/20220731/47b6680b56ce4ae48b9b2c5436f1d3bd.png
[Center 4]: /images/20220731/1416effd8f1f42b8a805e790acb11fa2.png
[Center 5]: /images/20220731/091e833203134c3bb61da2e8c05df398.png
[Center 6]: /images/20220731/4c698c7146cd4253a52bbf7ad976a004.png
[http_apache.fayea.com_hadoop_common_hadoop-2.6.0]: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
[Center 7]: /images/20220731/a7175dd206374ef99574dd517a61437d.png
[Center 8]: /images/20220731/f504243646034ecba60b5868b32b39c4.png
[Center 9]: /images/20220731/0c2ff555509143a28eec557be5f91103.png
[Center 10]: /images/20220731/f8fcb4a4fac4493281bac39ab0e00291.png
[Center 11]: /images/20220731/2bb7fa0d437e446cad74abe0bda34189.png
[Center 12]: /images/20220731/a0dc8ef325494e948d96955996827326.png
[Center 13]: /images/20220731/4f1b7e82a02c4690baf46afaf095e826.png
[Center 14]: /images/20220731/789a5c1ad12945068957cb2e0bfeb938.png
[Center 15]: /images/20220731/c41ad385fef24dffb5c6437d23c9feb1.png
[Center 16]: /images/20220731/8be8390f7c86477da1e10b3cdbaea8a5.png
[Center 17]: /images/20220731/2be48bb3b6f04c17af79ba491f65d6e0.png
[Center 18]: /images/20220731/9d2b1ff47024479397b5d74fbe23c29f.png
[Center 19]: /images/20220731/e45c17ca57de477e9f4a9055610e0360.png
[Center 20]: /images/20220731/e4a24a3c9b3a4249a7a0ea6caba6f6b3.png
[Center 21]: /images/20220731/4c6fbcfd3cb0430299ff1b6b3919b6a6.png
[Center 22]: /images/20220731/fae573807b2141f59e8a0de863976aca.png
[Center 23]: /images/20220731/9354f8fe4b04471e9f50eab06a8ad6de.png
[Center 24]: /images/20220731/aacac477dac2405f815702a132cac3dc.png
[Center 25]: /images/20220731/a0110fef020d49c89e65870d30cad1c3.png
[Center 26]: /images/20220731/ab59553b428f432cbe5d4f1185be6f6f.png
[Center 27]: /images/20220731/3386d80934a94198a696debf951a30f9.png
[Center 28]: /images/20220731/476db771c48e4945be820dd72e690866.png
[Center 29]: /images/20220731/791f5414a5f64d108992c0d73e0de2c4.png
[Center 30]: /images/20220731/586e26ac4eef4793be340e9b1fbf9a42.png