大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】

红太狼 2023-10-05 17:42 14阅读 0赞

![在这里插入图片描述][20210125191658808.png]  
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。

Hive十分适合对数据仓库进行统计分析。

Hive数据仓库 \{ 元数据(字段名,字段类型...等表结构信息)：保存在mysql中 数据(记录值)：存储在HDFS中 “元数据”与“数据”通过表进行映射 \\text\{Hive数据仓库\} \\begin\{cases\} \\text\{元数据(字段名,字段类型...等表结构信息)：保存在mysql中\}\\\\\[2ex\] \\text\{数据(记录值)：存储在HDFS中\}\\\\\[2ex\] \\text\{“元数据”与“数据”通过表进行映射\} \\end\{cases\} Hive数据仓库⎩⎨⎧元数据(字段名,字段类型...等表结构信息)：保存在mysql中数据(记录值)：存储在HDFS中“元数据”与“数据”通过表进行映射  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70]  
Hive的本质

*  在Hive中创建的表，库都在hdfs上有相应的路径！
 *  表中的数据，是文件的形式在表对应的目录中存放！
 *  在建表和建库后，会在Mysql中生成对应的shema信息！
    
     *  tbls: 存放表的元数据
     *  dbs: 库的元数据
     *  column\_v2: 列的元数据

Hive的特点：

*  只支持读(select)、写(insert)操作；
 *  不支持修改(update)、删除(delete)某条数据

生产实践中的流程：

1.  采集数据
2.  将数据按照自定义的某种格式保存在HDFS中
3.  根据保存在HDFS中采集数据的格式创建表结构
4.  使用HiveSql语句进行分析；

--------------------

## 一、Hive安装及基本应用 ##

### 1、Hive安装 ###

①保证安装Hive的Linux服务器的环境变量中有JAVA\_HOME  
②基于HADOOP工作，保证安装Hive的Linux服务器的环境变量中有HADOOP\_HOME  
③在安装Hive的Linux服务器的环境变量中配置HIVE\_HOME，默认hive在启动时，会读取HIVE\_HOME/conf中的配置文件

[wyr@hadoop102 ~]$ echo $JAVA_HOME
    /opt/module/jdk1.8.0_121
    [wyr@hadoop102 ~]$ echo $HADOOP_HOME
    /opt/module/hadoop-2.7.2
    [wyr@hadoop102 ~]$

把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/soft目录下，解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面

[wyr@hadoop102 soft]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/
    [wyr@hadoop102 module]$ ll
    total 16
    drwxrwxr-x.  8 wyr wyr 4096 Jan 30 15:44 apache-hive-1.2.1-bin
    drwxr-xr-x. 11 wyr wyr 4096 Jan 30 15:30 hadoop-2.7.2
    drwxr-xr-x.  8 wyr wyr 4096 Dec 13  2016 jdk1.8.0_121
    drwxr-xr-x. 11 wyr wyr 4096 Jan 29 22:01 zookeeper-3.4.10
    [wyr@hadoop102 module]$

修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[wyr@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive
    [wyr@hadoop102 module]$ ll
    total 16
    drwxr-xr-x. 11 wyr wyr 4096 Jan 30 15:30 hadoop-2.7.2
    drwxrwxr-x.  8 wyr wyr 4096 Jan 30 15:44 hive
    drwxr-xr-x.  8 wyr wyr 4096 Dec 13  2016 jdk1.8.0_121
    drwxr-xr-x. 11 wyr wyr 4096 Jan 29 22:01 zookeeper-3.4.10
    [wyr@hadoop102 module]$

将/opt/module/hive/bin目录添加到环境变量，在环境变量中提供HIVE\_HOME

[wyr@hadoop102 conf]$ vim /etc/profile
    
    JAVA_HOME=/opt/module/jdk1.8.0_121
    HADOOP_HOME=/opt/module/hadoop-2.7.2
    HIVE_HOME=/opt/module/hive
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
    export JAVA_HOME HADOOP_HOME HIVE_HOME PATH
    
    [wyr@hadoop102 conf]$ source /etc/profile

### 2、Hive启动及基本操作 ###

#### 2.1 Hive启动与退出 ####

[wyr@hadoop102 ~]$ ll
    total 60
    drwxrwxr-x. 2 wyr wyr  4096 Jan 29 12:55 bin
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Desktop
    drwxr-xr-x. 2 wyr wyr  4096 Jan 29 23:09 Documents
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Downloads
    -rw-rw-r--. 1 wyr wyr    12 Jan 29 23:22 hello
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Music
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Pictures
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Public
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Templates
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Videos
    -rw-rw-r--. 1 wyr wyr 19392 Jan 30 15:15 zookeeper.out
    [wyr@hadoop102 ~]$ hive
    
    Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties
    hive> quit;
    [wyr@hadoop102 ~]$ ll
    total 88
    drwxrwxr-x. 2 wyr wyr  4096 Jan 29 12:55 bin
    -rw-rw-r--. 1 wyr wyr 21031 Jan 30 17:02 derby.log
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Desktop
    drwxr-xr-x. 2 wyr wyr  4096 Jan 29 23:09 Documents
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Downloads
    -rw-rw-r--. 1 wyr wyr    12 Jan 29 23:22 hello
    drwxrwxr-x. 5 wyr wyr  4096 Jan 30 17:02 metastore_db
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Music
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Pictures
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Public
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Templates
    drwxr-xr-x. 2 wyr wyr  4096 Jan 26 11:17 Videos
    -rw-rw-r--. 1 wyr wyr 19392 Jan 30 15:15 zookeeper.out
    [wyr@hadoop102 ~]$

*  Hive在哪个目录启动就会在该目录下创建metastore\_db文件夹、derby.log日志文件
 *  如果下载在别的目录启动Hive，只会读取当前目录的Hive数据，不会读取别的目录下的Hive数据

#### 2.1 Hive基本操作 ####

查看数据库

hive> show databases;
    OK
    default
    Time taken: 0.516 seconds, Fetched: 1 row(s)
    hive>

打开默认数据库

hive> use default;
    OK
    Time taken: 0.01 seconds
    hive>

创建一张表

hive> create table person(name varchar(20), age int);
    OK
    Time taken: 0.261 seconds
    hive>

显示default数据库中的表

hive> show tables;
    OK
    person
    Time taken: 0.008 seconds, Fetched: 1 row(s)
    hive><

[20210125191658808.png]: https://img-blog.csdnimg.cn/20210125191658808.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210130201227248.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70