add new node in hadoop without restarting the cluster

淩亂°似流年 2022-02-12 14:53 196阅读 0赞

**For the new node**  
step 1:modify /etc/hostname  
slave0X  
=============================================  
**For the master node**  
step1:modify /etc/hosts  
ip masters  
ip slave01  
ip slave02  
...  
ip slave0X  
  
step2:modify the configure file : conf/slaves  
slave01  
slave02  
...  
slave0X  
==============================================

**Distribute the configure files of the master to other slave nodes.**  
run batch file "batch" in hadoop-1.0.3 directory with hadoop user.  
$ su hadoop  
$ cd ~  
$ cd hadoop/hadoop-1.0.3  
$ chown -R hadoop:hadoop /home/batch  
$ ./home/batch

\#The contents of the batch file are as follows:

scp conf/slaves [hadoop@slave0x:hadoop-1.0.3/conf/][hadoop_slave0x_hadoop-1.0.3_conf]

scp /etc/hosts [root@slave0x:/etc/hosts][root_slave0x_etc_hosts]

==============================================

**Start the new or broken node in the new node.**

bin/Hadoop-daemon.sh start datanode  
bin/Hadoop-daemon.sh start tasktracker

**Balancing the utilization of the disks in the master node.**

bin/start-balancer.sh -threshold 0.1

**!attention** the default threshold value is 0.1, and the lower the more balance, but the more time will be used.

[hadoop_slave0x_hadoop-1.0.3_conf]: mailto:hadoop@slave0x:hadoop-1.0.3/conf/
[root_slave0x_etc_hosts]: mailto:root@slave0x:/etc/hosts

发表评论取消回复

表情：

评论列表（有 0 条评论，196人围观）

还没有评论，来说两句吧...

相关阅读

相关解决[ERR] Node xxx is not empty. Either the node already knows other nodes (check with CLUSTER NODES)

解决： \[ERR\] Node xxx is not empty. Either the node already knows other nodes (check wi

我不是女神ヾ/ 2023年01月16日 06:18/ 0 赞/ 107 阅读

相关 redis：cluster nodes

作用 cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息集群中的每个节点都有当前集群配置的一个视图（快照），视图的信

亦凉/ 2022年09月17日 03:11/ 0 赞/ 224 阅读

相关 New RStudio add-in to schedule R scripts

By [BNOSAC - Belgium Network of Open Source Analytical Consultants][] (This article wa

Bertha 。/ 2022年07月27日 15:59/ 0 赞/ 165 阅读

相关 Hadoop Single Node Cluster环境搭建

参考： [linux中执行jps进程没有完全显示5个进程][linux_jps_5] [How I was finally able to run the infamo

叁歲伎倆/ 2022年05月24日 07:28/ 0 赞/ 141 阅读

相关 RedisConnectionFailureException: No reachable node in cluster

RedisConnectionFailureException: No reachable node in cluster; nested exception is redis

妖狐艹你老母/ 2022年05月17日 12:37/ 0 赞/ 186 阅读

相关 hadoop cluster tips

用user用户运行课本上的单机版测试程序报错 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Inp

刺骨的言语ヽ痛彻心扉/ 2022年02月21日 10:05/ 0 赞/ 179 阅读

相关 add new node in hadoop without restarting the cluster

For the new node step 1:modify /etc/hostname slave0X =============================

淩亂°似流年/ 2022年02月12日 14:53/ 0 赞/ 197 阅读

相关 hadoop cluster decommission node (下线节点，超级实用)

一、描述为了节约成本，避免资源浪费，下线集群中的一个节点，也就是把一台云主机回收喽。 centos 6.6\_64bit hadoop 2.6.0 二、操作

谁践踏了优雅/ 2022年02月05日 05:39/ 0 赞/ 255 阅读

相关 Hadoop: Setting up a Single Node Cluster.

[http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.ht

Love The Way You Lie/ 2022年01月23日 09:01/ 0 赞/ 159 阅读

相关 Hadoop报错：Failed to locate the winutils binary in the hadoop binary path

1 发现问题在虚拟机中搭建了hadoop集群，在windows中通过代码访问报错 15/06/11 15:35:50 ERROR Shell: Failed

悠悠/ 2021年09月26日 02:10/ 0 赞/ 734 阅读