离线数仓 (七) --------- 业务数据准备

绝地灬酷狼 2024-04-01 10:02 70阅读 0赞

#### 目录 ####

*  一、Hive 安装部署
 *  二、Hive 元数据配置到 MySQL
 *   *  1. 拷贝驱动
     *  2. 配置 Metastore 到 MySQL
 *  三、启动 Hive
 *   *  1. 初始化元数据库
     *  2. 启动Hive客户端

--------------------

## 一、Hive 安装部署 ##

A、把 apache-hive-3.1.2-bin.tar.gz 上传到 Linux 的 /opt/software 目录下

B、解压 apache-hive-3.1.2-bin.tar.gz 到 /opt/module/ 目录下面

[fancy@node101 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

C、修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive

[fancy@node101 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

D、修改 /etc/profile.d/my\_env.sh，添加环境变量

[fancy@node101 software]$ sudo vim /etc/profile.d/my_env.sh

添加内容

#HIVE_HOME
    export HIVE_HOME=/opt/module/hive
    export PATH=$PATH:$HIVE_HOME/bin

重启 XShell 对话框或者 source 一下 `/etc/profile.d/my_env.sh` 文件，使环境变量生效

[fancy@node101 software]$ source /etc/profile.d/my_env.sh

E、解决日志 Jar 包冲突，进入 /opt/module/hive/lib 目录

[fancy@node101 lib]$ mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

## 二、Hive 元数据配置到 MySQL ##

### 1. 拷贝驱动 ###

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

[fancy@node101 lib]$ cp /opt/software/mysql-connector-java-5.1.27.jar /opt/module/hive/lib/

### 2. 配置 Metastore 到 MySQL ###

A、在`$HIVE_HOME/conf`目录下新建 hive-site.xml 文件

[fancy@node101 conf]$ vim hive-site.xml

B、添加如下内容

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://node101:3306/metastore?useSSL=false</value>
        </property>
    
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>
    
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>
    
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>000000</value>
        </property>
    
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
        </property>
    
        <property>
            <name>hive.metastore.schema.verification</name>
            <value>false</value>
        </property>
    
        <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
        </property>
    
        <property>
            <name>hive.server2.thrift.bind.host</name>
            <value>node101</value>
        </property>
    
        <property>
            <name>hive.metastore.event.db.notification.api.auth</name>
            <value>false</value>
        </property>
        
        <property>
            <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
    
        <property>
            <name>hive.cli.print.current.db</name>
            <value>true</value>
        </property>
    </configuration>

## 三、启动 Hive ##

### 1. 初始化元数据库 ###

A、登陆 MySQL

[fancy@node101 conf]$ mysql -uroot -p000000

B、新建 Hive 元数据库

mysql> create database metastore;
    mysql> quit;

C、初始化 Hive 元数据库

[fancy@node101 conf]$ schematool -initSchema -dbType mysql -verbose

### 2. 启动Hive客户端 ###

A、启动 Hive 客户端

[fancy@node101 hive]$ bin/hive

B、查看一下数据库