Hadoop2.7.0学习——动态添加节点

￡神魔★判官ぃ 2022-09-25 01:23 143阅读 0赞

# Hadoop2.7.0学习——动态添加节点 #

## 前提 ##

已经搭建好了master机器以及一个节点hadoop-node1  
现在我们要在此基础上添加一个节点hadoop-node2  
[http://192.168.20.141:50070/dfshealth.html\#tab-datanode][http_192.168.20.141_50070_dfshealth.html_tab-datanode]  
![cXuOVbS.png][]

## hadoop-node2环境搭建 ##

**1.关闭防火墙**  
关闭master和node1虚拟机的防火墙  
打开终端  
输入  
service iptables stop 临时关闭，重启后失效  
chkconfig iptables off 永久关闭  
service iptables stauts 查看防火墙状态  
![Dl08Q3D.png][]  
**2.关闭SELinux**  
输入  
vim /etc/sysconfig/selinux  
按i进入编辑模式  
设置：SELINUX=disabled  
按Esc进入退出编辑，输入:wq!回车，即为保存并退出,或者shift+z+z  
**3.搭建Java环境**  
上传rpm文件  
java版本：[jdk-7u80-linux-x64][]  
执行命令  
rpm -ivh jdk-7u80-linux-x64.rpm  
java安装在usr下java中  
配置/etc/profile，在最后添加

export JAVA_HOME=/usr/java/jdk1.7.0_80
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile  
**4.配置node2的ip**  
node2的ip设置为192.168.20.142  
**5.配置本机名为hadoop-node2**  
vi /etc/sysconfig/network  
![CiDKUCn.png][]  
source /etc/sysconfig/network  
**6.配置hosts文件**  
![O85fivg.png][]  
**7.设置免密码登录master以及其他节点**  
ssh-copy-id 192.168.20.141  
ssh-copy-id 192.168.20.142

## master上的配置 ##

**1. 在host文件上添加node2的ip映射**  
![loo91Iu.png][]  
**2. 在hadoop安装目录/etc/hadoop/目录下的slaves文件添加node2的映射**  
![gWaJEXz.png][]  
**3. 设置免密码登录node2**  
ssh-copy-id 192.168.20.140  
测试  
ssh 192.168.20.140  
![wCV2gx0.png][]  
**4. 将hadoop拷贝到node2上**  
scp -r hadoop-2.7.0 root@hadoop-node2:/usr/local/bigdata/soft/

## 在node2上启动相应程序 ##

**1.启动datanode进程**  
在hadoop安装目录下输入  
sbin/hadoop-daemon.sh start datanode  
直接刷新web界面，可以看到节点已经在上面了  
[http://192.168.20.141:50070/dfshealth.html\#tab-datanode][http_192.168.20.141_50070_dfshealth.html_tab-datanode]  
![8D8okj6.png][]  
**2.启动nodemanager进程**  
在hadoop安装目录下输入  
sbin/yarn-daemon.sh start nodemanager  
**3.均衡block**  
sbin/start-balancer.sh

## 查看是否启动 ##

hadoop的管理页面  
[http://192.168.20.141:50070/][http_192.168.20.141_50070]  
yarn的管理页面  
[http://192.168.20.141:8088/][http_192.168.20.141_8088]

[http_192.168.20.141_50070_dfshealth.html_tab-datanode]: http://192.168.20.141:50070/dfshealth.html#tab-datanode
[cXuOVbS.png]: http://i.imgur.com/cXuOVbS.png
[Dl08Q3D.png]: http://i.imgur.com/Dl08Q3D.png
[jdk-7u80-linux-x64]: http://pan.baidu.com/s/1c1ARaX6
[CiDKUCn.png]: http://i.imgur.com/CiDKUCn.png
[O85fivg.png]: http://i.imgur.com/O85fivg.png
[loo91Iu.png]: http://i.imgur.com/loo91Iu.png
[gWaJEXz.png]: http://i.imgur.com/gWaJEXz.png
[wCV2gx0.png]: http://i.imgur.com/wCV2gx0.png
[8D8okj6.png]: http://i.imgur.com/8D8okj6.png
[http_192.168.20.141_50070]: http://192.168.20.141:50070/
[http_192.168.20.141_8088]: http://192.168.20.141:8088/