【大数据集群搭建-Apache】Apache版本大数据组件启动命令

冷不防 2023-10-08 19:09 41阅读 0赞

#### 【大数据集群搭建-Apache】Apache版本大数据组件启动命令 ####

*  0）前言
 *  1）Zookeeper
 *  2）Hadoop
 *  3）Hive
 *  4）HBase
 *  5）ES
 *  6）Spark
 *  7）Kafka
 *  8）Flink
 *  9）Oozie

## 0）前言 ##

**注意**：

这里所有的组件安装目录都为`/export/servers/`，大家执行的时候更改到自己的安装路径即可。

## 1）Zookeeper ##

所有机器都要执行

/export/servers/zookeeper-3.4.6/bin/zkServer.sh start
    
    #查看执行状态
    /export/servers/zookeeper-3.4.6/bin/zkServer.sh status

## 2）Hadoop ##

**（1）启动HDFS相关服务**

配置`/etc/profile`的情况下可以直接执行

start-all.sh

注意：

如果遇到了某服务无法启动的情况下，那么就需要对服务进行单独启动了。

以下脚本都在`hadoop/sbin`目录下，如果要停止某个服务将`start`换成`stop`即可。

#主节点启动namenode 
    hadoop-daemon.sh start namenode
    
    #从节点启动namenode 
    hadoop-daemon.sh start datanode
    
    #主节点启动resourcemanager 
    yarn-daemon.sh  start resourcemanager
    
    #从节点启动nodemanager 
    yarn-daemon.sh start nodemanager
    
    #单独启动hdfs相关服务 
    start-dfs.sh
    
    #单独启动yarn相关服务 
    start-yarn.sh

**（2）启动历史任务服务进程**

mr-jobhistory-daemon.sh start historyserver

**（3）端口号查看**

`namenode`：50070

`yarn`：8088

`MapReduceHistory`：19888

## 3）Hive ##

**（1）后台启动metastore服务和hiveserver2服务**

nohup /export/servers/hive-2.1.0/bin/hive --service metastore &
    nohup /export/servers/hive-2.1.0/bin/hive --service hiveserver2 &

**（2）启动beeline客户端**

/export/servers/hive-2.1.0/bin/beeline

依次执行以下命令

#5gcsp-bigdata-svr1为hostname
    !connect jdbc:hive2://5gcsp-bigdata-svr1:10000
    #账号
    root
    #密码	
    123456

## 4）HBase ##

**（1）启动hbase**

start-hbase.sh

**（2）验证是否启动成功**

# 启动hbase shell客户端 
    hbase shell
    
    # 输入status显示结果类似如下即可 
    status
    #1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load

端口号查看:16010

## 5）ES ##

**（1）所有服务器以非root用户执行后台启动**

nohup /export/servers/es/elasticsearch-7.6.1/bin/elasticsearch 2>&1 &

**（2）ES-head可视化服务**

#启动：分为前台和后台
    cd /export/servers/es/elasticsearch-head/node_modules/grunt/bin/
    
    ./grunt server	#注意:前台启动一旦退出ES-head可视化服务也会停止
    
    nohup ./grunt server >/dev/null 2>&1 &	#注意:后台启动可能会失败
    
    #查看或停止:
    netstat -nltp | grep 9100
    kill -9 端口号

**（3）端口号查看**

`ES`：9200

`ES-head`：9100

## 6）Spark ##

**（1）启动**

## 启动Spark HistoryServer服务，在主节点执行命令
    /export/servers/spark/sbin/start-history-server.sh
    
    ## 启动Yarn的ProxyServer服务，在主节点执行
    /export/servers/hadoop-2.7.5/sbin/yarn-daemon.sh start proxyserver

**（2）端口号查看**

`Spark HistoryServer服务WEB UI`：18080

## 7）Kafka ##

**（1）启动命令**

#后台启动
    nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &
    nohup /opt/dtstack/kafka/bin/kafka-server-start.sh /opt/dtstack/kafka/config/server.properties >/dev/null 2>&1 &

**（2）kafka集群一键启动脚本**

1、配置环境变量

vim /etc/profile

#添加如下内容
    export KAFKA_HOME=/export/server/kafka
    export PATH=$PATH:$KAFKA_HOME/bin

2、编辑脚本

vim  /usr/local/bin/kafkacmd.sh

3、添加如下内容

#! /bin/bash
    
    # Kafka代理节点地址
    hosts=(node1 node2 node3)
    
    # 打印启动分布式脚本信息
    mill=`date "+%N"`
    tdate=`date "+%Y-%m-%d %H:%M:%S,${mill:0:3}"`
    
    echo [$tdate] INFO [Kafka Cluster] begins to execute the $1 operation.
    
    # 执行分布式开启命令
    function start()
    {
        
            for i in ${hosts[@]}
                    do
                            smill=`date "+%N"`
                            stdate=`date "+%Y-%m-%d %H:%M:%S,${smill:0:3}"`
                            ssh $i "source /etc/profile;echo [$stdate] INFO [Kafka Broker $i] begins to execute the startup operation.;kafka-server-start.sh $KAFKA_HOME/config/server.properties>/dev/null" &
                            sleep 1
                    done
    }
    
    # 执行分布式关闭命令
    function stop()
    {
        
            for i in ${hosts[@]}
                    do
                            smill=`date "+%N"`
                            stdate=`date "+%Y-%m-%d %H:%M:%S,${smill:0:3}"`
                            ssh $i "source /etc/profile;echo [$stdate] INFO [Kafka Broker $i] begins to execute the shutdown operation.;kafka-server-stop.sh>/dev/null;" &
                            sleep 1
                    done
    }
    
    # 查看Kafka代理节点状态
    function status()
    {
        
            for i in ${hosts[@]}
                    do
                            smill=`date "+%N"`
                            stdate=`date "+%Y-%m-%d %H:%M:%S,${smill:0:3}"`
                            ssh $i "source /etc/profile;echo [$stdate] INFO [Kafka Broker $i] status message is :;jps | grep Kafka;" &
                            sleep 1
                    done
    }
    
    # 判断输入的Kafka命令参数是否有效
    case "$1" in
        start)
            start
            ;;
        stop)
            stop
            ;;
        status)
            status
            ;;
        *)
            echo "Usage: $0 {start|stop|status}"
            RETVAL=1
    esac

4、给脚本赋权

chmod  777  /usr/local/bin/kafkacmd.sh

5、使用

#查看状态
    kafkacmd.sh status
    
    #开启
    kafkacmd.sh start
    
    #停止
    kafkacmd.sh stop

## 8）Flink ##

*  **Flink集群的启动停止**

**（1）standalone模式启动**

/export/servers/flink/bin/start-cluster.sh

**（2）standalone模式停止**

/export/servers/flink/bin/stop-cluster.sh

**（3）端口号查看**

`Flink端口号`：8081

*  **Flink作业提交命令**

**（1）yarn-session模式**

/export/servers/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d
    
    # 说明：
    # 申请2个CPU、1600M内存
    # -n 表示申请2个容器，这里指的就是多少个taskmanager
    # -tm 表示每个TaskManager的内存大小
    # -s 表示每个TaskManager的slots数量
    # -d 表示以后台程序方式运行

**（2）yarn-job分离模式**

/export/servers/flink/bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar
    
    # -m  jobmanager的地址
    # -yjm 1024 指定jobmanager的内存信息
    # -ytm 1024 指定taskmanager的内存信息

**（3）端口号查看**

`通过yarn查看任务`：8088

## 9）Oozie ##

**（1）启动**

cd /export/servers/oozie-4.1.0-cdh5.14.0
    bin/oozied.sh start

**（2）关闭**

bin/oozied.sh stop

`端口号查看`：11000