Hive系列之-2、Hive的安装方式

电玩女神 2022-09-08 15:49 210阅读 0赞

**[大数据系列文章目录][Link 1]**

### 目录 ###

*  Hive的安装方式
 *   *  内嵌模式
     *  本地模式
     *  远程模式
 *  Hive的安装
 *   *  准备工作
     *  安装mysql数据库
     *  安装Hive
 *  Hive的交互方式
 *   *  第一种交互方式：bin/hive
     *  第二种交互方式：使用sql语句或者sql脚本进行交互
     *  第三种交互方式：Beeline Client
 *  Hive一键启动脚本
 *   *  安装expect
     *  创建脚本
     *  修改脚本权限
     *  启动beeline
 *  结束

# Hive的安装方式 #

hive的安装一共有三种方式:**内嵌模式、本地模式、远程模式**

**元数据服务(metastore**）作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

## 内嵌模式 ##

**内嵌模式**使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

解压hive安装包 bin/hive 启动即可使用

缺点：不同路径启动hive，每一个hive拥有一套自己的元数据，无法共享。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16]

## 本地模式 ##

**本地模式**采用外部数据库来存储元数据，目前支持的数据库有：MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。

本地模式不需要单独起metastore服务，用的是跟hive在同一个进程里的metastore服务。也就是说当你启动一个hive 服务，里面默认会帮我们启动一个metastore服务。

hive根据hive.metastore.uris 参数值来判断，如果为空，则为本地模式。

缺点是：每启动一次hive服务，都内置启动了一个metastore。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 远程模式 ##

**远程模式**下，需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。远程模式的metastore服务和hive运行在不同的进程里。

在生产环境中，建议用远程模式来配置Hive Metastore。

在这种情况下，其他依赖hive的软件都可以通过Metastore访问hive。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_16_color_FFFFFF_t_70_g_se_x_16]  
远程模式下，需要配置hive.metastore.uris 参数来指定metastore服务运行的机器ip和端口，并且**需要单独手动启动metastore服务**。  
hiveserver2是Hive启动了一个server，客户端可以使用JDBC协议，通过IP+ Port的方式对其进行访问，达到并发访问的目的。

# Hive的安装 #

**我们在此处选择第三台机器node3作为我们hive的安装机器，安装方式使用远程方式。**

## 准备工作 ##

1、下载hive的安装包，这里我们选用hive的版本是2.1.0,软件包为：apache-hive-2.1.0-bin.tar.gz  
[Hive下载地址:http://archive.apache.org/dist/hive/][Hive_http_archive.apache.org_dist_hive]

2、下载mysql的安装包，我们使用的mysql版本是5.7.29,软件包为:mysql-5.7.29-linux-glibc2.12-x86\_64.tar.gz

[下载地址:https://downloads.mysql.com/archives/community/][https_downloads.mysql.com_archives_community]

3、将apache-hive-2.1.0-bin.tar.gz上传到/export/software目录

4、将mysql-5.7.29-linux-glibc2.12-x86\_64.tar.gz上传到/export/software目录

## 安装mysql数据库 ##

安装mysql，参考我之前文章：[安装Msql教程][Msql]

## 安装Hive ##

**1、解压Hive安装包并重命名**

cd /export/software
    tar -zxvf apache-hive-2.1.0-bin.tar.gz  -C /export/server
    cd /export/server
    mv apache-hive-2.1.0-bin hive-2.1.0

**2、修改hive的配置文件**

hive-env.sh

添加我们的hadoop的环境变量

cd  /export/server/hive-2.1.0/conf
    cp hive-env.sh.template hive-env.sh
    vim hive-env.sh

修改内容如下：

HADOOP_HOME=/export/server/hadoop-2.7.5 
    export HIVE_CONF_DIR=/export/server/hive-2.1.0/conf

**3、修改hive-site.xml**

cd  /export/server/hive-2.1.0/conf
    vim hive-site.xml

在该文件中添加以下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
      </property>
      <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
      </property>
      <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://node3:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
      </property>
      <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
      </property>
      <property>
          <name>hive.metastore.schema.verification</name>
          <value>false</value>
      </property>
      <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
     </property>
     <property>
    	<name>hive.server2.thrift.bind.host</name>
    	<value>node3</value>
       </property>
    </configuration>

**4、上传mysql的lib驱动包**

将mysql的lib驱动包上传到hive的lib目录下

cd /export/server/hive-2.1.0/lib

将mysql-connector-java-5.1.41-bin.jar 上传到这个目录下

**5、拷贝相关jar包**

将hive-2.1.0/jdbc/目录下的hive-jdbc-2.1.0-standalone.jar 拷贝到hive-2.1.0/lib/目录

cp /export/server/hive-2.1.0/jdbc/hive-jdbc-2.1.0-standalone.jar /export/server/hive-2.1.0/lib/

**6、配置hive的环境变量**

node03服务器执行以下命令配置hive的环境变量

vim /etc/profile

添加以下内容:

export HIVE_HOME=/export/server/hive-2.1.0
    export PATH=:$HIVE_HOME/bin:$PATH

**\#初始化元数据**

cd /export/server/hive-2.1.0/
    
    bin/schematool -dbType mysql -initSchema

# Hive的交互方式 #

## 第一种交互方式：bin/hive ##

cd /export/server/hive-2.1.0/
    
    bin/hive

创建一个数据库

create database  mytest;
    show databases;

## 第二种交互方式：使用sql语句或者sql脚本进行交互 ##

不进入hive的客户端直接执行hive的hql语句

cd /export/server/hive-2.1.0/
    bin/hive -e "create database mytest2"

或者我们可以将我们的hql语句写成一个sql脚本然后执行

cd /export/server
    vim  hive.sql

脚本内容如下:

create database mytest3;
    use mytest3;
    create table stu(id int,name string);

通过hive -f 来执行我们的sql脚本

bin/hive -f /export/server/hive.sql

## 第三种交互方式：Beeline Client ##

hive经过发展，推出了第二代客户端beeline，但是beeline客户端不是直接访问metastore服务的，而是需要单独启动hiveserver2服务。

1.  在node1的/export/server/hadoop-2.7.5/etc/hadoop目录下，修改core-site.xml，在该文件中添加以下配置,实现用户代理:

<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

将修改好的core-site.xml文件分发到node2和node3,然后重启Hadoop（stop-all.sh start-all.sh）

1.  在hive运行的服务器上，首先启动metastore服务，然后启动hiveserver2服务。

nohup /export/server/hive-2.1.0/bin/hive --service metastore &
    nohup /export/server/hive-2.1.0/bin/hive --service hiveserver2 &

**nohup 和 & 表示后台启动**

1.  在node3上使用beeline客户端进行连接访问。

/export/server/hive-2.1.0/bin/beeline

根据提醒进行以下操作:

[root@node3 ~]# /export/server/hive-2.1.0/bin/beeline
    which: no hbase in (:/export/server/hive-2.1.0/bin::/export/server/hadoop-2.7.5/bin:/export/data/hadoop-2.7.5/sbin::/export/server/jdk1.8.0_241/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/export/server/mysql-5.7.29/bin:/root/bin)
    Beeline version 2.1.0 by Apache Hive
    beeline> !connect jdbc:hive2://node3:10000
    Connecting to jdbc:hive2://node3:10000
    Enter username for jdbc:hive2://node3:10000: root
    Enter password for jdbc:hive2://node3:10000:123456

连接成功之后，出现以下内容，可以在提示符后边输入hive sql命令  
![在这里插入图片描述][f980a950ec1e470cba76f4c342ea7826.png]

# Hive一键启动脚本 #

这里，我们写一个expect脚本，可以一键启动beenline，并登录到hive。expect是建立在tcl基础上的一个自动化交互套件, 在一些需要交互输入指令的场景下, 可通过脚本设置自动进行交互通信。

## 安装expect ##

yum  -y install expect

## 创建脚本 ##

cd /export/server/ hive-2.1.0
    vim  beenline.exp

添加以下内容:

#!/bin/expect
    spawn beeline 
    set timeout 5
    expect "beeline>"
    send "!connect jdbc:hive2://node3:10000\r"
    expect "Enter username for jdbc:hive2://node3:10000:"
    send "root\r"
    expect "Enter password for jdbc:hive2://node3:10000:"
    send "123456\r"
    interact

## 修改脚本权限 ##

chmod 777 beenline.exp

## 启动beeline ##

expect beenline.exp

# 结束 #

Hive的安装就这么多，总体来说明白，理解了就还可以，下篇文章进行Hive的操作。

[Link 1]: https://blog.csdn.net/l848168/article/details/119147380
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/584ee2dc129643569fba45b95693bf0b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/2973467d575043c08c83b003f0ad80f8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASmF2YeW8ueiNr-W6kw_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/a0905a4b3b674b099155e306557fa046.png
[Hive_http_archive.apache.org_dist_hive]: http://archive.apache.org/dist/hive/
[https_downloads.mysql.com_archives_community]: https://downloads.mysql.com/archives/community/
[Msql]: https://blog.csdn.net/l848168/article/details/118274016
[f980a950ec1e470cba76f4c342ea7826.png]: /images/20220829/eb91a99ae84742038a80387a945d01ad.png