Hive高级应用（一）

本是古典何须时尚 2022-12-16 13:29 310阅读 0赞

### 目录 ###

*   *  一、Hive架构
     *  二、Hive的优点和使用场景
     *  三、Hive和HBase的区别
     *  四、Hive常用的命令
     *  五、Hive常用属性配置
     *  六、Hive中数据库的操作方式
     *  七、Hive中数据库表的创建方式（三种）
     *  八、Hive表的操作及表创建的场景

Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为MapReduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。

## 一、Hive架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]

1.用户接口：Client

CLI(hive shell)   JDBC(java访问hive)   WEBUI（浏览器访问hive）

2.元数据（Metastore）-数据库  
元数据包括：表名称、表所属的数据库、表的拥有者、列/分区字段名、表的类型（外部/内部）、表的数据所在的目录

默认存储在自带的derby的数据库中，推荐使用Mysql来存储元数据

3.hadoop  
hive使用HDFS进行数据的存储，使用MR进行数据的计算

4.驱动器：driver  
包含：

解析器  ->   优化器  -> 编译器  ->  执行器

## 二、Hive的优点和使用场景 ##

1.简单易用（操作接口采用类SQL语法，提供快速开发的能力）

2.避免我们去写MR，减少开发人员的学习成本

3.统一的元数据管理，可与impala、spark等共享数据

4.易扩展

5.数据的离线处理：比如日志分析，海量结构化数据离线分析

6.Hive的执行延迟比较高，因此Hive常用于数据离线分析，适合实时性要求不高的场景

7.Hive优势在于处理大数据，对于处理小数据没有优势，因为hive的执行延迟性很高。

## 三、Hive和HBase的区别 ##

Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。  
共同点：

1.  hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储  
    区别：
2.  Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。
3.  想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。
4.  Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。
5.  Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。
6.  hive借用hadoop的MapReduce来完成一些hive中的命令的执行
7.  hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引，方便查询操作。
8.  hbase是列存储。
9.  hdfs作为底层存储，hdfs是存放文件的系统，而Hbase负责组织文件。
10. hive需要用到hdfs存储文件，需要用到MapReduce计算框架。

## 四、Hive常用的命令 ##

1.显示数据库

show databases;

2.创建数据库

create database db_hive;

3.删除数据库

drop database db_hive;

4.使用数据库

use db_hive;

5.创建表：

CREATE TABLE u_data (
      userid INT,
      movieid INT,
      rating STRING,
      unixtime STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE;

6.加载数据

load data local inpath '/opt/datas/ratings.txt' into table u_data;

7.查看表中数据

select * from u_data;
    select userid from u_data;
    select count(1) u_count from u_data;

8.查看表结构

desc u_data;
    desc extended u_data;
    desc formatted u_data;

9.查看hive中自带的函数

show functions;

10.查看hive中自带的函数的用法

desc function upper;
    desc function extended upper;

CREATE TABLE student(
      userid INT,
      username STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE;

11.查询userid,upper这两个字段，将username改为大写

select userid,upper(username) uppper_name from student;

## 五、Hive常用属性配置 ##

1.Hive数据仓库位置配置

<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
      </property>

$ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
      $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

2.Hive运行日志的配置

配置conf/hive-log4j.properties文件

hive.log.dir=/opt/modules/hive/logs
    hive.log.file=hive.log

3.Hive运行日志的级别

hive.root.logger=info,DRFA

4.在cli命令行上显示当前数据库名称，以及查询表的表头信息

<property>
    	<name>hive.cli.print.header</name>
    	<value>true</value>
    </property>
    
    <property>
    	<name>hive.cli.print.current.db</name>
    	<value>true</value>
    </property>

5.在启动hive时设置配属属性想信息

bin/hive --hiveconf <property=value> 
    
      eg:   bin/hvie --hiveconf  hive.cli.print.header=false

此种方式的设置，仅仅在当前会话session中有效

6.查看hive当前所有的配置信息

set;
      set hive.cli.print.header;
      set hive.cli.print.header=false;
    优先级：
      set  ->  --hiveconf ->   hive-site.xml  -> hive-defualt.xml

## 六、Hive中数据库的操作方式 ##

CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
      [COMMENT database_comment]
      [LOCATION hdfs_path]
      [WITH DBPROPERTIES (property_name=property_value, ...)];

创建数据库
    1.create database db_hive;
      CREATE DATABASE IF NOT EXISTS db_hive  --- 标准方式
    
      CREATE DATABASE IF NOT EXISTS db_kfk LOCATION  '/user/kfk/kfkwarehouse';
    
    删除数据库
    2.drop database
      DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
    
      drop database IF EXISTS db_kfk;--- 标准方式
      drop database IF EXISTS db_hive cascade;
    
    使用数据库
    3.use database
      USE database_name;

## 七、Hive中数据库表的创建方式（三种） ##

第一种：创建表按分隔符隔开

CREATE  TABLE IF NOT EXISTS db_name.table_name  
    	  (col_name data_type  )
    	  ROW FORMAT DELIMITED
    	  FIELDS TERMINATED BY ','
    	  STORED AS TEXTFILE;
    eg:
    
    	CREATE TABLE student (
    	  userid string,
    	  username string)
    	ROW FORMAT DELIMITED
    	FIELDS TERMINATED BY ','
    	STORED AS TEXTFILE;

第二种：克隆一份表，表结构和existing\_table\_or\_view\_name一样，但是没有数据

CREATE  TABLE IF NOT EXISTS db_name.table_name
    LIKE existing_table_or_view_name;
    
    eg:
    CREATE  TABLE IF NOT EXISTS db_hive.stu
    LIKE db_hive.student;

第三种：创建一份表，表的结构和数据和table一样

CREATE  TABLE IF NOT EXISTS db_name.table_name  
    AS select * from table;
    
    eg：
    CREATE TABLE IF NOT EXISTS db_hive.stu  
    AS select * from db_hive.student;

## 八、Hive表的操作及表创建的场景 ##

1.  Hive数据分析完成之后的结果我们会保存在什么地方？

>>存储到HDFS上
       >>存储在hive的表中（临时表）

2.drop table（删除数据表）

DROP TABLE IF EXISTS table_name;

3.truncate table （删除表结构）

TRUNCATE TABLE table_name;

4.加载数据

load data local inpath '/opt/datas/student.txt' into table student;
    覆盖数据：
    load data local inpath '/opt/datas/student.txt' overwrite into table student ;
    
    insert into table stu select * from student;
    
    加载hdfs上的数据覆盖到表中：
    load data inpath '/user/kfk/datas/student.txt' overwrite into table student;

上述内容笔记为Hive高级应用（一）。Hive高级应用（二）（三）后续更新！

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/d9c9e963ab5f454c845652a85e7619f4.png