hadoop常用运维命令及相关说明

爱被打了一巴掌 2022-07-14 13:57 221阅读 0赞

# 准备 #

在操作hadoop时，一定要切换到hadoop  用户，例如hadoop的用户为hduser,一定要先使用su hduser，然后再执行相关的命令

# 命令 #

## **整集群启动** ##

启动前，需要确认集群中的节点都是没有启动的， zookeeper集群是启动起来的，如果没有启动，请登录到zookeeper各个节点上运行/zookeeper所在目录/bin/zkServer.sh start

然后再来启动hadoop

进入到命令所在目录中：cd  /hadoop所在目录/sbin/

执行启动命令：./start-all.sh

## 整集群关闭 ##

./stop-all.sh

## 启动某一节点的单个服务 ##

例如，集群中有一个节点为hd3，需要启动hd3上的datanode服务，

进入到命令所在目录中：cd  /hadoop所在目录/sbin/

执行启动命令：./hadoop-daemon.sh start datanode

如果需要启动yarn的 nodemanager,

执行启动命令：./yarn-daemon.sh start nodemanager

## 单独启动或关闭yarn/dfs ##

如果需要单独启动yarn

./start-yarn.sh

单独关闭yarn

./stop-yarn.sh

如果需要单独启动 dfs

./start-dfs.sh

单独关闭dfs

./stop-dfs.sh

##    增加数据节点 ##

请根据安装hadoop 的步骤，安装一台节点，然后在所有的节点上的/etc/hosts中增加新增节点的ip与域名的映射。

编辑/hadoop所在目录/etc/hadoop/slaves 文件，增加新增节点，保持所有节点的同步更新。

启动节点

cd /hadoop所在目录/sbin/

./hadoop-daemon.sh start datanode

./yarn\-daemon.sh start nodemanager

在namenode上刷新节点，开始上线

/hadoop所在目录/bin/hdfs dfsadmin -refreshNodes

设置负载均衡

cd /hadoop所在目录/bin/

./hdfs dfsadmin -setBalancerBandwidth 67108864

cd /hadoop所在目录/sbin/

./start-balancer.sh -threshold 5

## 下线数据节点 ##

修改/hadoop所在目录/etc/hadoop/slaves

去掉要下线的数据节点

修改/hadoop所在目录/etc/hadoop/excludes

增加要下线的数据节点

把这两个文件同步到所有的hadoop节点的相应目录下

在namenode上刷新节点，开始下线

/hadoop所在目录/bin/hdfs dfsadmin -refreshNodes

在namenode上使用如下命令查看下线状态

/hadoop所在目录/bin/hadoop dfsadmin -report

当下线节点状态变为Decommissioned

就可关闭该服务器完成下线操作了。

发表评论取消回复

表情：

评论列表（有 0 条评论，221人围观）

还没有评论，来说两句吧...

相关阅读

相关 Linux运维相关命令

1、查看相关文件运行的信息 ps -ef | grep 模糊文件名运行结果： ![3bfb7e32f5f94b93ba56e90ae1b89e74.png]

叁歲伎倆/ 2024年03月30日 15:00/ 0 赞/ 82 阅读

相关 linux运维常用命令

用户管理 `新增用户` useradd test `修改密码` passwd test `添加用户组为root组` usermod -g

àì夳堔傛蜴生んèń/ 2022年11月05日 06:30/ 0 赞/ 247 阅读

相关 redis集群模式运维常用命令及相关说明

进入集群客户端任意选一个redis节点，进入redis 所在目录 cd /redis 所在目录/bin/ ./redis-cli -h 本地节点的ip -p red

淩亂°似流年/ 2022年07月14日 14:23/ 0 赞/ 192 阅读

相关 hbase运维常用命令及相关说明

准备在操作hbase时，一定要切换到hbase 用户，例如hbase的用户为hduser,一定要先使用su hduser，然后再执行相关的命令命令启动整

r囧r小猫/ 2022年07月14日 14:08/ 0 赞/ 263 阅读

相关 hadoop常用运维命令及相关说明

准备在操作hadoop时，一定要切换到hadoop 用户，例如hadoop的用户为hduser,一定要先使用su hduser，然后再执行相关的命令命

怼烎@/ 2022年07月14日 13:57/ 0 赞/ 174 阅读

相关 hadoop常用运维命令及相关说明

准备在操作hadoop时，一定要切换到hadoop 用户，例如hadoop的用户为hduser,一定要先使用su hduser，然后再执行相关的命令命

爱被打了一巴掌/ 2022年07月14日 13:57/ 0 赞/ 222 阅读

相关 linux运维常用命令

1.目录操作使用 mkdir 命令创建目录 mkdir $HOME/testFolder 切换目录使用 cd 命令切换目录 cd

ゞ浴缸里的玫瑰/ 2022年06月08日 20:10/ 0 赞/ 279 阅读

相关运维常用命令集合

rz lz 的安装 2017年11月08日 17:50:26 weixin\_36997430 阅读数：603 yum install lrzsz 遇到（y/n）

r囧r小猫/ 2022年05月28日 08:35/ 0 赞/ 300 阅读

相关 Linux运维常用命令详解

1、ls 文件属性： -：普通文件 d：目录文件 b：块设备 c：字符设备文件 l：符号连接文件

叁歲伎倆/ 2021年12月17日 06:39/ 0 赞/ 919 阅读

相关 DB2常用运维命令

DB2是IBM公司推出关系型数据库管理系统。主要应用于银行、医院等大型机构。现今DB2主要包含以下三个系列：DB2 for Linux, UNIX and Windows(LU

Love The Way You Lie/ 2021年12月10日 14:25/ 0 赞/ 410 阅读