hadoop 添加删除机器以及设置免密登录

深藏阁楼爱情的钟 2022-05-18 00:21 158阅读 0赞

# 添加hadoop机器 #

1.  先在slaves中添加机器
2.  然后启动datanode

$: ./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh start datanode

1.  查看是否启动

$: jps
    
    
    4696 DataNode
    4765 Jps

1.  启动tasktrack

$: ./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh start tasktracker

1.  查看是否启动

$: jps
    
    16503 DataNode
    16727 TaskTracker
    20793 Jps

1.  均衡block

./usr/hadoop-0.20.2-cdh3u4/bin/start-balancer.sh

# 删除机器 #

1.在`/usr/hadoop-0.20.2-cdh3u4/conf`编辑`dfs.hosts.exclude`，把我们想要删除的机器添加进进去，如：10.142.40.69, 然后修改hdfs-site.xml文件

<property>  
    　　<name>dfs.hosts.exclude</name>  
    　　<value>/usr/hadoop-0.20.2-cdh3u4/conf/dfs.hosts.exclude</value>  
    </property>

1.  强制重新加载配置

hadoop dfsadmin -refreshNodes

1.  关闭节点  
    等待刚刚的操作结束后，需要下架的机器就可以安全的关闭了  
    查看机器情况：

hadoop dfsadmin -report

对删除的结点会有如下状态

正在执行Decommission，会显示： 
    Decommission Status : Decommission in progress  
    
    执行完毕后，会显示： 
    Decommission Status : Decommissioned

1.  再次编辑excludes文件  
    一旦完成了机器下架，它们就可以从excludes文件移除了  
    登录要下架的机器，查看`jps`，如果还有datanode和tasktrack，就停止它们

./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh stop datanode
    
    ./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh stop tasktracker

1.  到这里其实已经下架完成，不影响使用了，但是在

hadoop dfsadmin -report

还是会看见这台机器

Decommission Status : Decommissioned

如何才能不显示？**重启namenode**，再重启前请做好备份，通知其他在使用的用户，不要提交任务

6.重启namenode

/usr/hadoop-0.20.2-cdh3u4/bin/stop-all.sh
    
    最好等一会儿
    
    /usr/hadoop-0.20.2-cdh3u4/bin/start-all.sh

# 设置免密登录 #

## 原理 ##

![这里写图片描述][SouthEast]

## 在master节点上的设置 ##

1.  首先到用户主目录（cd ~），ls -a查看文件，其中一个为“.ssh”，该文件价是存放密钥的。待会我们生成的密钥都会放到这个文件夹中。
2.  现在执行命令生成密钥： ssh-keygen -t rsa (使用rsa加密方式生成密钥)回车后，会提示三次输入信息，我们直接回车即可。即回车四下
3.  将生成的公钥id\_rsa.pub 内容追加到authorized\_keys（执行命令：cat id\_rsa.pub >> authorized\_keys）

## 在节点中配置信息 ##

1.以同样的方式生成秘钥，然后使用如下命令将生成的公钥拷贝到master下

在s1中执行命令：scp id_rsa.pub m1:/root/.ssh/id_rsa.pub.s1 ，在s2中执行命令：scp id_rsa.pub m1:/root/.ssh/id_rsa.pub.s2

1.  全部重定向

进入m1执行命令：cat id_rsa.pub.s1 >> authorized_keys ，cat id_rsa.pub.s1 >> authorized_keys

1.  最后将生成的包含三个节点的秘钥的authorized\_keys 复制到s1和s2的.ssh目录下（ scp authorized\_keys s1:/root/.ssh/， scp authorized\_keys s2:/root/.ssh/）（如果只想master免密访问其他的机器，这一步可以省略）
2.  赋予权限

chmod 755 ~
        chmod 700 ~/.ssh
        chmod 600 ~/.ssh/authorized_keys

# 发现最简单粗暴的办法 #

1.master 机器没有秘钥就生成秘钥：

ssh-keygen -t rsa

(使用rsa加密方式生成密钥)回车后，会提示三次输入信息，我们直接回车即可。即回车四下  
2. 将生成的公钥id\_rsa.pub 内容追加到authorized\_keys（执行命令：cat id\_rsa.pub >> authorized\_keys）  
3. 如果没有其他机器访问master机器，直接：

cat id_rsa.pub > authorized_keys

1.  现在想要master免密访问slave1,登录slave1然后：

ssh-keygen -t rsa

1.  进入 `~/.ssh`,然后把master机器中的authorized\_keys，拷贝过来，因为只有master机器免密访问slave1,所以我先将只包含master机器的id\_rsa.pub内容的authorized\_keys，保存到 slave1的`~/.ssh`，然后改变权限：

chmod 600 ~/.ssh/authorized_keys

然后就可以在master机器访问slave1了

# 参考 #

[ssh免密码登录全过程][ssh]  
[CentOS 7 SSH配置免密码登录][CentOS 7 SSH]  
[Linux权限详解（chmod、600、644、666、700、711、755、777、4755、6755、7755）][Linux_chmod_600_644_666_700_711_755_777_4755_6755_7755]

[SouthEast]: /images/20220518/b1d46240a37b41aa824bb450b00ae5df.png
[ssh]: https://blog.csdn.net/zengqiang1/article/details/52997885
[CentOS 7 SSH]: https://blog.csdn.net/newstruts/article/details/46424191
[Linux_chmod_600_644_666_700_711_755_777_4755_6755_7755]: https://blog.csdn.net/u013197629/article/details/73608613