Hadoop集群搭建及配置⑨——Hive 可靠的安装配置，远程连接MySQL

红太狼 2022-11-18 13:41 448阅读 0赞

### Hive安装 ###

*   *  一、安装配置Hive
     *   *  1.1 解压hive
         *  1.2 配置环境变量（master 和 slave1）
         *  1.3 配置 hive-env.sh
         *  1.4 将hive复制到slave1中：
         *  1.5 配置 hive-site.xml（slave1）
         *  1.6 Hive与Mysql通信 (slave1)
         *   *  1.6.1 maven配置下载mysql驱动器
         *  1.7 解决版本冲突和jar包依赖问题 (master)
         *  1.8 配置 hive-site.xml（master）
     *  二、启动Hive
     *   *  2.1 hive目录下启动Hive服务端（slave1）
         *  2.2 hive 目录下启动 Hive客户端（master）
     *  三、Hive 理论
     *   *  3.1 Hive 的起源
         *  3.2 数据仓库工具 Hive
         *  3.3 hivae与hdfs、 hive元数据
         *  3.4 Hive安装模式

--------------------

Mysql+Hive：[1、Centos7 MySQL安装 —— 用网盘简单安装][1_Centos7 MySQL_ _]

[2、Hadoop集群搭建及配置⑨——Hive 可靠的安装配置][2_Hadoop_Hive]

[3、Spark SQ操作 MySQL数据库和 Hive数据仓库][3_Spark SQ_ MySQL_ Hive]

[4、Spark SQL RDD基本操作、RDD—DataFrame、API MySQL][4_Spark SQL RDD_RDD_DataFrame_API MySQL]

[5、Spark SQL RDD、DataFrame、Dataset、反射推断机制 Schema 操作！！][4_Spark SQL RDD_RDD_DataFrame_API MySQL]

--------------------

**云盘链接：**[https://pan.baidu.com/s/1u2TU5xhxLzv2GgENHdREuQ][https_pan.baidu.com_s_1u2TU5xhxLzv2GgENHdREuQ]  
提取码：**z7pu**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

--------------------

[8、Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置][8_Hadoop_ _ Hadoop]

[9、Hadoop集群搭建及配置⑦—— Spark&Scala安装配置][9_Hadoop_ Spark_Scala]

[10、Hadoop集群搭建及配置⑧——Hbase的安装配置][10_Hadoop_Hbase]

[11、eclipse配置连接Hadoop][11_eclipse_Hadoop]

[12、eclipse 实现 Hdfs java API][12_eclipse _ Hdfs java API]

[13、eclipse 实现 HBase java API][13_eclipse _ HBase java API]

[14、Hbase java API 实现增删改查][14_Hbase java API]

--------------------

## 一、安装配置Hive ##

### 1.1 解压hive ###

把Hive安装包apache-hive-2.1.1-bin 拖进shell 目录下  
创建hive文件夹  
mkdir -p /usr/hive  
![在这里插入图片描述][2021041313310816.png]

# 1.解压文件放在 /usr/hive目录下
    tar zxvf  ./apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
    
    # 2.重命名hive解压文件
    mv /usr/hive/apache-hive-2.1.1-bin/ /usr/hive/hive-2.1.1

![在这里插入图片描述][20210413133303950.png]

### 1.2 配置环境变量（master 和 slave1） ###

vim /etc/profile
    # hive
    export HIVE_HOME=/usr/hive/hive-2.1.1
    export PATH=$PATH:$HIVE_HOME/bin
    
    # 2.保存退出生效环境变量
    source /etc/profile

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]  
`查看hive是否安装成功 hive --version`![在这里插入图片描述][20210413133538326.png]

### 1.3 配置 hive-env.sh ###

# 将 hive-env.sh.template改名为 hive-env.sh
    cp hive-env.sh.template hive-env.sh
    vi hive-env.sh
    
    # 修改HADOOP_HOME的路径
    export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
    # 修改HIve配置文件的路径
    export HIVE_CONF_DIR=/usr/hive/hive-2.1.1/conf
    # 修改Hive需要jar包的路径
    export HIVE_AUX_JARS_PATH=/usr/hive/hive-2.1.1/lib

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]

### 1.4 将hive复制到slave1中： ###

`scp -r /usr/hive/hive-2.1.1/ root@slave1:/usr/hive/`  
![在这里插入图片描述][20210413133653789.png]

### 1.5 配置 hive-site.xml（slave1） ###

slave1作为服务器端。需要相关连接的数据库的配置。比如ip、端口、数据库用户名、密码等。

# 进入conf目录 
    cd /usr/hive/hive-2.1.1/conf
    vi hive-site.xml

# 添加以下配置：
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
        <description>数据库连接JDBC的URL地址</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>数据库连接Driver,class name for a JDBC metastore</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>Mysql数据库用户名</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>abc123456</value>
        <description>mysql数据库密码</description>
      </property>
      <property>
       <name>datanucleus.schema.autoCreateAll</name>
       <value>true</value>
       <description>数据中心数据库代码自动生成</description>
     </property>
     <property>
       <name>hive.metastore.schema.verification</name>
       <value>false</value>
       <description>数据库不使用metastore</description>
      </property>
    </configuration>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]

--------------------

### 1.6 Hive与Mysql通信 (slave1) ###

因为服务器端需要和Mysql通信，所以服务器端的驱动程序 **mysql-connector-java-5.1.46-bin.jar** 到hive的lib目录下。

#### 1.6.1 maven配置下载mysql驱动器 ####

在 **pom.xml** 添加配置：

<dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.46</version>
    </dependency>

在IDEA下载完成后，在**External Libraiesc** \-> 右键 mysql-**connector-java-5.1.46-bin** \-> **Find in Path**(查找路径) -> 复制路径(…\\repository\\ **mysql\\mysql-connector-java** )

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]  
把 **mysql-connector-java-5.1.46-bin.jar** 传输到 虚拟机slave1节点的 **/usr/hive/hive-2.1.1/lib**目录下。  
![在这里插入图片描述][20210413134611643.png]

### 1.7 解决版本冲突和jar包依赖问题 (master) ###

由于客户端需要和Hadoop通信，所以需要更改Hadoop中jline的版本。即保留一个高版本的jline jar包，从hive的lib包中拷贝到Hadoop中lib位置为：  
`/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib`.

cp /usr/hive/hive-2.1.1/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]

### 1.8 配置 hive-site.xml（master） ###

# 在 msater 执行：
    cd /usr/hive/hive-2.1.1/conf/
    vi hive-site.xml

![在这里插入图片描述][20210413134827868.png]  
**1. 添加配置：**

<configuration>
    
    <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>/user/hive/warehouse</value>
    </property>
    
    
    <property>
     <name>hive.metastore.uris</name>
     <value>thrift://slave1:9083</value>
    </property>
    </configuration>

**3. 保存退出。**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9][]

<property>
     <name>hive.metastore.local</name>
     <value>false</value>
     <description>在0.10,0.11之后的HIVE版本hive.metastore.local 属性不再使用</description>
    </property>

--------------------

## 二、启动Hive ##

### 2.1 hive目录下启动Hive服务端（slave1） ###

slave1 作为服务端开启  
输入：`bin/hive --service metastore`  
![在这里插入图片描述][20210413135203612.png]

### 2.2 hive 目录下启动 Hive客户端（master） ###

master 作为客户端开启 hive，`bin/hive`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][20210413135303779.png]  
总结下：Hive客户端在master，Hive服务端在slave1是因为，降低资源占有率，提高查询效率。以上hive安装完成，希望对你有所帮助。

--------------------

除了实践，我们也要了解了解Hive的发展历史~

## 三、Hive 理论 ##

### 3.1 Hive 的起源 ###

1.  Hive起源于Facebook（一个美国的社交服务网络）。Facebook有着大量的数据，而Hadoop是一个开源的MapReduce实现，可以轻松处理大量的数据。
2.  但是MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。此时Facebook最早地开始研发Hive，它让对Hadoop使用SQL查询（实际上SQL后台转化为了MapReduce）成为可能，那些非Java程序员也可以更方便地使用。hive最早的目的也就是为了分析处理海量的日志。
3.  Hive是一个数据仓库技术，一次将一个SQL语句转化为 Mapreduce 代码，然后对代码进行编译，最后优化执行。
4.  Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。
5.  Hive做为 Hadoop 的数据仓库处理工具，它所有的数据都存储在Hadoop 兼容的文件系统中。
6.  Hive将元数据存储在关系数据库管理系统 (RDBMS) 中，一般常用 MySQL和Derby。默认情况下，Hive 元数据保存在内嵌的 Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用MySQL 作为元数据库，Hive内部对 MySQL 提供了很好的支持。

### 3.2 数据仓库工具 Hive ###

*  Hive提供了一个类似SQL查询语句，即HQL来查询数据；
 *  Hive将SQL语句转换成M/R Job，然后在Hadoop上执行；
 *  Hive是建立在Hadoop HDFS上的数据仓库基础架构；
 *  Hive可以用来对数据进行提取转换加载。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]

### 3.3 hivae与hdfs、 hive元数据 ###

Hive的表= HDFS的目录  
Hive数据=HDFS文件

*  元信息反应的是表的信息，和表中数据无关。
 *  Hive中的元数据包括表的名字、列（字段）名字、分区名字及其属性、表的属性（是否为外部表）、表的数据所在目录等。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]

### 3.4 Hive安装模式 ###

1.  嵌入模式
2.  本地模式
3.  远程模式

内置的Derby主要问题是并发性能很差，可以理解为单线程操作。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]  
完毕。

[1_Centos7 MySQL_ _]: https://blog.csdn.net/weixin_44775255/article/details/115662187
[2_Hadoop_Hive]: https://blog.csdn.net/weixin_44775255/article/details/115663334
[3_Spark SQ_ MySQL_ Hive]: https://blog.csdn.net/weixin_44775255/article/details/115707963
[4_Spark SQL RDD_RDD_DataFrame_API MySQL]: https://blog.csdn.net/weixin_44775255/article/details/115727069
[https_pan.baidu.com_s_1u2TU5xhxLzv2GgENHdREuQ]: https://pan.baidu.com/s/1u2TU5xhxLzv2GgENHdREuQ
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221022/4d902a76cebe4bada8085b68ec8286fb.png
[8_Hadoop_ _ Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/113775449
[9_Hadoop_ Spark_Scala]: https://blog.csdn.net/weixin_44775255/article/details/114518207
[10_Hadoop_Hbase]: https://blog.csdn.net/weixin_44775255/article/details/114676669
[11_eclipse_Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/114799064
[12_eclipse _ Hdfs java API]: https://blog.csdn.net/weixin_44775255/article/details/114809298
[13_eclipse _ HBase java API]: https://blog.csdn.net/weixin_44775255/article/details/114821297
[14_Hbase java API]: https://blog.csdn.net/weixin_44775255/article/details/117446315
[2021041313310816.png]: /images/20221022/1668e9162bcf41af83f44dc6d6cdf97b.png
[20210413133303950.png]: /images/20221022/a46772dce6af46e5b818e198f7cf9285.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/889d85c263ba4fa982832dfcecbb9761.png
[20210413133538326.png]: /images/20221022/ca468bc746354515b05dec9e6c3a3aa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/b3c78695680c4056947629d6870e2ba7.png
[20210413133653789.png]: /images/20221022/6cae812f5e8444d4bd4869acedccec76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/21d54e86514c4948beafa33a2986db32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221022/b16cccd1643d4d82b7ca6e1932e428a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221022/bca77fbecae9476f9cfa66917fcd1b5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221022/3435945f673d401a92d18cb376778864.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]: /images/20221022/627c4b6724cd4558b98547d41b9c9031.png
[20210413134611643.png]: /images/20221022/0a4b09127fe2488b842793d08cb5a93f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]: /images/20221022/3baae9216af14d8bac37e7754f2c2590.png
[20210413134827868.png]: /images/20221022/85ecab5d41544c3a87137f2dab728156.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9]: /images/20221022/570536fe0baf4a67b05c715b3449852d.png
[20210413135203612.png]: /images/20221022/91fadb95e06d417c878099142cdbd097.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]: /images/20221022/82ab8cd2655a410cac1c339be9f4f7d3.png
[20210413135303779.png]: /images/20221022/c7fef43294234b4da4b9c7f59ab8b95d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]: /images/20221022/57476d6f3c3c44368421b4340eef7661.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]: /images/20221022/cac9c2063a9843a99fc3656d38ff6d95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]: /images/20221022/cedda6fd800a4a8db7d27b1949e5d6f3.png