Hadoop完全分布式的搭建

「爱情、让人受尽委屈。」 2021-09-15 00:08 361阅读 0赞

搭建完全分布式的环境是研究大数据技术必不可少的要求。这里，小编将一步步的教大家搭建如何进行Hadoop完全分布式的环境搭建，以三台机器为例。废话不多说直接进入配置模式~

一、系统和软件

CentOS6.5，hadoop2.5.0，jdk1.8.0\_161

二、基本环境准备

检查主机名：$ cat /etc/sysconfig/network

检查IP和DNS：$ cat/etc/sysconfig/network-scripts/ifcfg-eth0

检查主机映射：$ cat /etc/hosts（Linux）

C:\\Windows\\System32\\drivers\\etc\\hosts（Windows）

关闭防火墙：在root用户下

\# service iptables stop

\# chkconfig iptables off

检查：$ sudo service iptablesstatus

![70][]

$ sudo chkconfig --list| grep iptables

![70 1][]

关闭Linux安全子系统：\# vi/etc/sysconfig/selinux

三、配置NTP服务

将第一台机器（PC1）作为整个集群的时间同步服务器

首先检查每台服务器所在的时区

![70 2][]

如果不是东八区，通过以下命令进行调整

\# rm  -rf/etc/localtime

\# ln -s /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

然后安装ntp服务

\# rpm -qa | grep ntp     --查看ntp软件包是否已安装

![70 3][]

如果没有通过以下命令安装

\# yum  -y install ntp

接着修改ntp的配置文件

\# vi /etc/ntp.conf

把下图中的红框改成自己的网段

![70 4][]

注释掉下图红框中的内容

![70 5][]

在配置文件最后添加以下内容

server 127.127.1.0    \#local clock  
fudge 127.127.1.0  stratum 10

![70 6][]

接着，用PC1同步服务器的时间

\# ntpdatecn.pool.ntp.org

启动ntp服务

\# service ntpd start

\# chkconfig ntpd on

$ sudo chkconfig --list | grep ntpd

$ sudo ntpdate 202.120.2.101

另外，如果另外的两台机器的ntp进程开着，需要关闭

\# service ntpd stop

\# chkconfig ntpd off

最后，另外两台机器向第一台机器同步时间

\# ntpdate PC1的主机名

制定周期性时间同步计划任务，每十分钟同步一次时间

\# crontab -e

\*/10 \* \* \* \* /usr/sbin/ntpdate PC1的主机名

\[注意\]：如果确实无法向第一台同步时间，请在交互窗口（可以同时设置3台时间）执

行手动设置时间

\# date -s "11:48:00 2017/3/23"

四、配置SSH免秘钥登录

三台机器上都要做的事情！！！

$ ssh-keygen

$ ssh-copy-id PC1的主机名

$ ssh-copy-id PC2的主机名

$ ssh-copy-id PC3的主机名

分发完成之后会在用户主目录下.ssh目录生成以下文件

![70 7][]

测试失败，需要先删除.ssh目录，重做一遍

五、安装Hadoop

上传解压hadoop-2.5.0.tar.gz，并删除$\{HADOOP\_HOME\}/share/doc文件，命令如下：$ rm -rf doc/

六、配置Hadoop的相关配置文件

配置java环境支持（这里的截图是1.7的版本，实际上小编的jdk是1.8的，在配置的时候只需要写上自己的jdk版本就行了）

$\{HADOOP\_HOME\}/etc/hadoop，在hadoop-env.sh  mapred-env.sh   yarn-env.sh中配置。

![70 8][]

![70 9][]

![70 10][]

配置slaves

![70 11][]

core-site.xml

![70 12][]

hdfs-site.xml

![70 13][]

mapred-site.xml

![70 14][]

yarn-site.xml

![70 15][]

七、PC1分发hadoop到另外两台机器上

$ scp -r/opt/modules/hadoop-2.5.0/ PC2主机名:/opt/modules/

$ scp -r/opt/modules/hadoop-2.5.0/ PC3主机名:/opt/modules/

八、格式化NameNode

在PC1上的$\{HADOOP\_HOME\}/bin

$ bin/hdfs namenode -format

九、启动进程

在PC1上启动HDFS

$ sbin/start-dfs.sh

在PC3上启动Yarn

$ sbin/start-yarn.sh

十、jps查看各个进程

![70 16][]

![70 17][]

![70 18][]

至此，Hadoop完全分布式的搭建就算讲完了~

你们在此过程中还遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。

[70]: /images/20210726/ee2af1a4dfb843648f19d03c36435573.png
[70 1]: /images/20210726/2d4b49bec6764f26bc1dce47a9a641e7.png
[70 2]: /images/20210726/f6d81934c846406dba2278cd22ebb41f.png
[70 3]: /images/20210726/278aef941acd465dad41bf302f0cbf0c.png
[70 4]: /images/20210726/a39bbc73313b4d6cb8157e261aa3d1c6.png
[70 5]: /images/20210726/7e151524090c4f11af94473577b57365.png
[70 6]: /images/20210726/36e83efb66564344a2cb57966ac28697.png
[70 7]: /images/20210726/1dc6dfabf43b4aaf9ed2bd6cc21dc6ff.png
[70 8]: /images/20210726/92b83da50320456080e9306744f4ee5b.png
[70 9]: /images/20210726/f4b5b1faf8f44884b886cb227b2f0f79.png
[70 10]: /images/20210726/89084d554f344083b8fa76ea0e28608f.png
[70 11]: /images/20210726/85d9e58062554da0a4e44d9bdf2aef2d.png
[70 12]: /images/20210726/67b76ec1eb0a48ab83ca76e322c3d7dd.png
[70 13]: /images/20210726/d1d3d3ed12dc4793a277b73e9e613634.png
[70 14]: /images/20210726/b7d5868ec6454c6480dfda0f2a0fc2cc.png
[70 15]: /images/20210726/3e9013e91ddb4013957288c3efbd3da8.png
[70 16]: /images/20210726/0b003db183764fada8187f4b0e3d66e9.png
[70 17]: /images/20210726/49e1edb97ce24e91961ec8a5a3828ece.png
[70 18]: /images/20210726/35389f2565c542148e67fcfec0a68df4.png