[hadoop] HDFS的新节点上线和旧节点退役

绝地灬酷狼 2023-08-17 15:22 83阅读 0赞

## 新节点上线 ##

1 准备一个全新的节点,使用root账户登录  
2 修改ip和host主机名  
3 在管理节点端配置SSH免密码登录  
4 关闭防火墙  
5 安装JDK,解压hadoop安装包并配置相关环境变量  
6 将以前节点的hadoop配置文件同步到新节点  
7 直接启动新节点的DataNode即可关联到集群

sbin/hadoop-daemon.sh start datanode
    sbin/yarn-daemon.sh start nodemanager

8 可以在slaves中写入新节点从而使管理节点能通过start-all.sh和stop-all.sh来管理新节点.  
9 可以在管理节点做集群的再平衡操作

sbin/start-balancer.sh

## 旧节点退役 ##

退役指旧节点将自身数据完整拷贝到其他节点后再退出集群关联  
有两种机制使旧节点退役:**白名单模式和黑名单模式**

**1 白名单模式**  
添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。  
设置白名单步骤如下:  
(1)在NameNode的/$hadoop安装目录/etc/hadoop目录下创建dfs.hosts文件,在其中添加仍旧需要服役的节点名称(比如原本四个节点,要退役最后一个节点)

node01
    node02
    node03

(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
    <name>dfs.hosts</name>
    <value>/$hadoop安装目录/etc/hadoop/dfs.hosts</value>
    </property>

(3)分发以上两个配置文件,使所有的配置文件保持同步.  
(4)刷新NameNode

hdfs dfsadmin -refreshNodes

(5)更新ResourceManager节点

yarn rmadmin -refreshNodes

(6)按情况可以做集群的再平衡操作

sbin/start-balancer.sh

**2 黑名单模式**  
在黑名单上面的主机都会被强制退出。  
设置黑名单步骤如下:  
(1)在NameNode节点的/$hadoop安装目录/etc/hadoop目录下创建dfs.hosts.exclude文件  
在其中添加需要退役的节点名称(比如原本四个节点,要退役最后一个节点)

node04

(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
    <name>dfs.hosts.exclude</name>
          <value>/$hadoop安装目录/etc/hadoop/dfs.hosts.exclude</value>
    </property>

(3)刷新NameNode,刷新ResourceManager

hdfs dfsadmin -refreshNodes
    yarn rmadmin -refreshNodes

(4)通过Web浏览器查看,如果退役节点的状态为decommission in progress（退役中）,说明数据节点正在复制块到其他节点.  
等待退役节点状态为decommissioned（所有块已经复制完成）,停止该节点及节点资源管理器.  
**注意：如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役，**

(5)按情况可以做集群的再平衡操作

sbin/start-balancer.sh

**注意:一个hadoop集群不能同时使用白名单和黑名单.**