记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群

雨点打透心脏的1/2处 2022-12-29 14:05 258阅读 0赞

# 一、操作目的 #

1、搭建 Hive 的分布式环境  
2、可以在各个 Hive 的客户端节点上执行 hive 命令

# 二、基础环境（Hadoop3.3.0集群、单节点 Hive）安装 #

[基于 Hadoop 3.x 集群搭建部署 Hive][Hadoop 3.x _ Hive]

# 三、Hive 分布式集群部署 #

1、编辑 hive 的配置文件 hive-site.xml

[root@master ~]# vim /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml

2、增加配置内容

<property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
        <description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are enabled.This will also require hive.server2.support.dynamic.service.discovery to be enabled.</description>
      </property>

3、把 已经在 master 节点上安装配置好的 Hive 目录及文件发送给 slave1、slave2、slave3 节点

[root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave1:/usr/bigdata/
    [root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave2:/usr/bigdata/
    [root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave3:/usr/bigdata/

4、在各个节点创建 hive 用户

[root@slave1 ~]# useradd hive
    [root@slave2 ~]# useradd hive
    [root@slave3 ~]# useradd hive

5、、查看 master 上的系统环境变量

[root@master ~]# cat /etc/profile

6、、slave1 节点上的大数据相关系统环境变量如下

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
    export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
    export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
    export HIVE_HOME="/usr/bigdata/apache-hive-3.1.2-bin"
    
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
    
    export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$hive_HOME/lib

7、、编辑 slave1、slave2、slave3 节点上的系统环境变量

[root@slave1 ~]# vim /etc/profile
    [root@slave2 ~]# vim /etc/profile
    [root@slave3 ~]# vim /etc/profile

8、、使 slave1、slave2、slave3 节点上的系统环境变量生效

[root@slave1 ~]# source /etc/profile
    [root@slave2 ~]# source /etc/profile
    [root@slave3 ~]# source /etc/profile

9、、在 slave2 节点上执行 hive 命令

[root@slave2 ~]# hive

启动效果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]  
10、在 slave3 节点上执行 hive 命令

[root@slave3 ~]# hive

启动效果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]  
11、由上图的操作可以看到前文在 master 节点上创建的数据库 db\_test

# 四、hiveserver2 服务启动 #

1、控制台启动

[root@master ~]# hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001

2、后台启动

[root@master ~]# nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 &

3、查看 hiveserver2 服务启动日志

[root@master ~]# cat /usr/bigdata/apache-hive-3.1.2-bin/logs/hive.log

![在这里插入图片描述][20201231002607965.png]

# 五、浏览器查看 #

在浏览器地址栏录入 http://192.168.11.21:10002/ （说明：192.168.11.21 是 hiveserver2 服务启动节点的 IP ）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]

至此，Centos7.x 搭建部署 Hive 3.1.2 分布式集群操作完毕，希望能够对您有所帮助！

[Hadoop 3.x _ Hive]: https://blog.csdn.net/llwy1428/article/details/111502413
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]: /images/20221120/060116db8a2e42a4abb0efbeb806e184.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]: /images/20221120/2870f6c43e5143ff93b6d09ecc4500c3.png
[20201231002607965.png]: /images/20221120/d417767cfa504129a388d771b76ac2bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]: /images/20221120/f354db86eeca4152aa8276ef3aebbb0d.png