大数据组件服务的启动与关闭命令

青旅半醒 2022-04-16 00:05 91阅读 0赞

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。

1、Hadoop集群  
（1）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs.sh ./start-yarn.sh （建议使用）b)./start-all.sh（2）关闭方式a)./stop-dfs.sh ./stop-yarn.sh （建议使用）b)./stop-all.sh

2、Spark集群  
切换到主节点的Spark安装目录下的sbin目录下（1）启动方式./start-all.sh（2）关闭方式./stop-all.sh

3、HBase集群  
（1）启动方式先启动Hadoop集群，后启动HBASE\#cd $HBASE\_HOME/bin\#./start-hbase.sh（2）关闭方式\#cd $HBASE\_HOME/bin\#./stop-hbase.sh（3）web访问方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/

4、Hive  
hadoop必须已经启动切换到节点的Hive安装目录下的bin目录（1）启动Hive:./hive 如果配置环境变量 直接输入hive或者./hive --service cli

5、Kafka  
切换到节点的Kafka安装目录下的bin目录（1）启动Kafka服务：./kafka-server-start.sh config/server.properties  
后台启动命令： ./kafka-server-start.sh -daemon config/server.properties（2）查看Kafka状态：./zkServer.sh status（3）创建topic：./kafka-topics.sh --create --zookeeper localhost:主机ip --replication-factor 3 --partitions 1 --topic topic名字 (3是在配置文件中配置的replication-factor，1是在partitions中配置的)（4）查看topic：./kafka-topics.sh --list --zookeeper localhost:2181（5）发送消息：./kafka-console-producer.sh --broker-list localhost:9092 --topic topic名字（6）接收消息：./kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic名字--from-beginning（7）查看topic情况：./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic（8）删除topic：./kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic名字（9）关闭Kafka服务：1、jps查看pid 2、kill -9 pid

6、ZooKeeper  
切换到节点的zookeeper安装目录下的bin目录（1）启动ZK服务:./zkServer.sh start（2）查看ZK服务状态:./zkServer.sh status（3）停止ZK服务:./zkServer.sh stop（4）重启ZK服务:./zkServer.sh restart

使用jps查看：  
jps  
结果  
QuorumPeerMain

7、Storm  
切换到节点的Storm安装目录下的bin目录（1）启动Storm主结点：nohup ./storm nimbus > ../logs/info 2>&1 &（2）启动Storm从结点：./storm supervisor > ../logs/info 2>&1 &（3）启动Storm管理界面：./storm z ui> /dev/null 2>&1 &（4）启动Storm日志：nohup storm logviewer > /dev/null 2>&1 &（5）查看任务:./storm list （6）杀死任务:./storm kill lifeCycle(任务名称)

8、Flume  
切换到Flume安装目录下  
（1）启动服务：bin/flume-ng agent -c conf -f flume-netcat.properties -name a -Dflume.root.logger=INFO,console（2）停止服务：1、jps查看pid 2、kill -9 pid

9、Solr  
进入安装目录下的example目录（1）启动服务：后台运行solr，默认监听8983端口nohup java -jar start.jar >/dev/null &（2）停止服务：java -DSTOP.PORT=8983 -DSTOP.KEY=solr -jar start.jar –stop

10、ElasticSearch  
下载并解压elasticsearch-servicewrapper-master把service目录拷贝到ES\_HOME/bin/目录下面cd ES\_HOME/bin/service（1）启动服务：./elasticsearch start（2）关闭服务：./elasticsearch stop

11.sqoop  
进入安装目录下  
首先启动server，再打开shell  
开启服务： ./bin/sqoop2-server start  
打卡shell： ./bin/sqoop2-shell  
查看安装版本： ./bin/sqoop2-tool verify

12.MySql  
启动mysql mysql -u root -p

13.Kylin

启动 kylin.sh start    停止 kylin.sh stop