Hive入门系列(1)-Hive简介+安装+基本操作

Myth丶恋晨 2023-10-10 12:02 14阅读 0赞

### 简介 ###

[官网地址][Link 1]  
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

### 优缺点 ###

**优点**：

1.  操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。
2.  避免了去写 MapReduce，减少开发人员的学习成本。
3.  Hive 的执行延迟比较高，因此 Hive 常用于数据分析，对实时性要求不高的场合。
4.  Hive 优势在于处理大数据，对于处理小数据没有优势，因为 Hive 的执行延迟比较  
    高。
5.  Hive 支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

**缺点**：

1.  Hive 的 HQL 表达能力有限  
    （1）迭代式算法无法表达  
    （2）数据挖掘方面不擅长，由于 MapReduce 数据处理流程的限制，效率更高的算法却  
    无法实现。
2.  Hive 的效率比较低  
    （1）Hive 自动生成的 MapReduce 作业，通常情况下不够智能化  
    （2）Hive 调优比较困难，粒度较粗

### Hive 架构原理 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]

1.  Metastore：元数据，元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore。
2.  Hadoop：使用 HDFS 进行存储，使用 MapReduce 进行计算。
3.  Client：CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive）
4.  Driver（驱动器）：  
    （1）解析器（SQL Parser）：将 SQL 字符串转换成抽象语法树 AST，这一步一般都用第三方工具库完成，比如 antlr；对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。  
    （2）编译器（Physical Plan）：将 AST 编译生成逻辑执行计划。  
    （3）优化器（Query Optimizer）：对逻辑执行计划进行优化。  
    （4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来说，就是 MR/Spark。

### 运行机制 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]  
Hive 通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的 Driver，结合元数据(MetaStore)，将这些指令翻译成 MapReduce，提交到 Hadoop 中执行，最后，将执行返回的结果输出到用户交互接口。

### 安装（非正式） ###

# 下载
    cd /opt/soft/
    wget https://mirrors.bfsu.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz
    # 安装
    tar -zxvf apache-hive-2.3.7-bin.tar.gz
    mv apache-hive-2.3.7-bin hive-2.3.7
    # 添加环境变量
    vim /etc/profile
    # HIVE_HOME
    export HIVE_HOME=/opt/soft/hive-2.3.7
    export PATH=$PATH:$HIVE_HOME/bin
    # 刷新
    source /etc/profile
    # 初始化元数据库
    bin/schematool -dbType derby -initSchema
    # 启动HDFS/YARN
    start-hdfs.sh
    start-yarn.sh
    # 启动hive
    bin/hive
    # 测试
    hive> show databases;
    hive> show tables;
    hive> create table test(id int);
    hive> insert into test values(1);
    hive> select * from test;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]

### 数据类型 ###

基本数据类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]  
集合数据类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]

### DDL ###

1.  创建数据库

# 直接创建，在HDFS中的路径看图1
    create database db_test;
    # 创建时进行if not exists 判断
    create database if not exists db_test;
    # 创建一个数据库，指定数据库在 HDFS 上存放的位置
    create database db_test2 location '/db_test2.db';

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 5]

1.  查询数据库

# 显示数据库
    show databases;
    # 显示数据库信息
    desc database db_test;
    # 显示数据库详细信息
    desc database extended db_test;
    # 切换当前数据库
    use db_test;
    # 修改数据库
    alter database db_test  set dbproperties('createtime'='20170830'); 
    # 删除空数据库
    drop database db_test
    # 建表语法
    CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    [(col_name data_type [COMMENT col_comment], ...)]
    [COMMENT table_comment]
    [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
    [CLUSTERED BY (col_name, col_name, ...)
    [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
    [ROW FORMAT row_format]
    [STORED AS file_format]
    [LOCATION hdfs_path]
    [TBLPROPERTIES (property_name=property_value, ...)]
    [AS select_statement]
    # 案例

[Link 1]: https://hive.apache.org/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201208105128460.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201208110245103.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201208132040583.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201208134436235.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201208134459588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/202012081351488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70