数仓Hive-尚硅谷

「爱情、让人受尽委屈。」 2023-01-16 06:20 99阅读 0赞

# 第 1 章 Hive 基本概念 #

**Hive及数据仓库，存储使用HDFS，计算引擎（Dirve）可以是MR、Spark、Flink**

**hive应用于离线数据分析，一次写入多次读取，一般不涉及改和删数据**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70]

## 1.1 什么是 Hive ##

**Hive可将写好的HQL语句转换成整MR执行**

**用Hive能解决的问题用MR一定能解决， 用MR能解决的问题，用Hive不一定能解决**

**Hive没有集群概念，因为Hive的角色是客户端，Hdfs和MR的客户。可以部署多台但是都是独立的。**  
**Hive本质就是Hadoop的一个客户端，通过客户端提交SQL让Hive自己去解析并封装成MR任务，去HDFS中读取数据，提交给yarn执行。**

**Hive+MR = Flink SQL= Spark SQL  
Hive的存储(source)是hdfs，而Flink/Spark的source可以是kafka,HDFS等**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 1]  
**通过表名和HDFS数据的存储路径做映射以此方式来找到HDFS中对应的数据**

## 1.2Hive 的优缺点 ##

![在这里插入图片描述][2021042411045159.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][20210424111416764.png]

## 1.3 Hive 架构原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 3]

**对于Hive的Dirve(引擎)可以是MR、Spark、Flink**

![在这里插入图片描述][20210424112226193.png]  
**hive默认存储元数据的数据是derby，缺点是同时只能使用一个hive客户端链接hadoop，而且无法查看元数据的信息。实际生产环境推荐使用用MySql**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 5]  
**自定义函数：**  
![在这里插入图片描述][20210424112725404.png]

## 1.4 Hive 和数据库比较 ##

存储数据量大  
Hive读多写少，默认是不支撑更新，HDFS如果想更新数据，需要将数据先下载下来，更改后再上传覆盖。  
与数据库相比除了查询语句相似，其他区别都很大

![在这里插入图片描述][20210424113612537.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 6]

# 第 2 章 Hive 安装 #

## 安装 ##

前提是安装好hdfs

1.  解压 apache-hive-3.1.2-bin.tar.gz
2.  系统环境变量

vi /etc/profile

export HIVE_HOME=/root/ysw/hive/apache-hive-3.1.2-bin
    export PATH=$HIVE_HOME/bin:$PATH

source /etc/profile

1.  解决日志 Jar 包冲突  
    hadoop里面也有甚多log4j的打印日志，去掉hive的log4j jar包依赖

mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

1.  配置 Metastore 到 MySQL

4.1. 需要安装MySQL 可以直接使用yum  
需要拷贝MySQL的驱动mysql-connector-java-5.1.25.jar 到 hive/lib 目录下  
注意mysql的驱动要是5.x 版本  
4.2 在数据库中新建名为hivemetastore的数据库 ，用来存放Hive 元数据  
4.2. 在$HIVE\_HOME/conf 目录下新建 hive-site.xml 文件  
vim $HIVE\_HOME/conf/hive-site.xml

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://10.139.12.149:3306/pk?useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Test2016@</value>
    </property>
    
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    </configuration>

4.4. 初始化 Hive 元数据库为mysql

schematool -initSchema -dbType mysql -
    verbose

1.  启动 Hive

bin/hive

## 使用 Hive ##

hive> show databases;
    hive> show tables;
    hive> create table test1(id String); #字段类型使用java的基本数据类型
    hive> create table test(id int);  
    hive> insert into test values(1);
    hive> select * from test;

# 第 3 章 Hive 数据类型 #

3.1 基本数据类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 7]  
3.2 集合数据类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 8]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70]: /images/20221022/7ca84e961add4a0db7cee7662853c69a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 1]: /images/20221022/49fcbad3a5494d1da5cbda9ad096467d.png
[2021042411045159.png]: /images/20221022/553238427e82410e8f6ba6ddcfe2742a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 2]: /images/20221022/dbff579c5add4dd0ba7b9df73a1c2846.png
[20210424111416764.png]: /images/20221022/a0b57bb1f7cf415f90d30a27dee16871.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 3]: /images/20221022/d1b3fe5476b341ca856b31181f0f48f8.png
[20210424112226193.png]: /images/20221022/229c73e62ace4fe7b321c798dba2fc2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 4]: /images/20221022/eb0bb2dee89d4ed098418741deb2c836.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 5]: /images/20221022/adff7538e4fc452190969872ca5856fd.png
[20210424112725404.png]: /images/20221022/15ac44b69d4e49aea6f60d0eeba4f854.png
[20210424113612537.png]: /images/20221022/c236965bd5e1439cb11c892b118d46a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 6]: /images/20221022/e09cafa3ed0647c3876254accb90714d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 7]: /images/20221022/8553d2bcc7c640619707e0a72ae7d877.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 8]: /images/20221022/8a87dd4058e84cc8a89c5d3dc60d5cd6.png