Hive知识点总结

刺骨的言语ヽ痛彻心扉 2022-01-31 15:09 224阅读 0赞

hive是构建在hadoop上的数据仓库框架  
**hive中存的是表，是和hdfs的映射关系，hive是逻辑上的数据仓库。**

# hive与mysql #

metastore是hive元数据的集中存放地  
metastore默认使用内嵌的derby数据库作为存储引擎  
Derby引擎的缺点：一次只能打开一个会话  
使用Mysql作为外置存储引擎，多用户同时访问

# hive的元数据 #

*  除了真实存储的数据外都是元数据。
 *  元数据包块表的名字，表的列和分区及其属性，表的数据所在目录。

# hive与传统数据库 #

1.  传统数据库是数据写入数据库时检查数据（写时模式），查询效率高  
    hive在查询时对数据检查（读时模式），数据加载迅速。
2.  hive的插入、更新、删除操作引起的变化，保存在较小的增量文件中，有metastore在后台运行的mr定期将其合并到基表中。

# hive中的表 #

1.  托管表和外部表  
    托管表（内部表）。（默认）：存储时：存在hdfs目录。删除表时，数据也删除。  
    外部表：存储时：不存在hdfs目录。删除表时，只删除表结构，数据不删。
2.  分区表和桶表
    
     *  分区表是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹。
     *  分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分。  
        分桶数和reduce任务数一致

# hive动态分区 #

动态分区模式:  
strict-严格模式，插入时至少指定一个静态分区，  
nonstrict-非严格模式，可以不指定静态分区。

# hive事务处理 #

在>0.13.0之后支持行级事务。  
1.所有事务自动提交。  
2.只支持orc格式。  
3.使用bucket表。  
4.配置hive参数，使其支持事务。

# hive调优 #

1.  使用explain查看查询计划
2.  设置limit优化,避免全部查询
3.  本地模式(如果大于参数中设置的值，仍然用集群模式)
4.  并行执行
5.  严格模式
6.  设置MR的数量
7.  JVM重用,适用大量小文件
8.  设置开启mapjoin

# UDF（用户自定义函数） #

1.  udf  
    条件：继承udf类  
    重写evaluate（）方法
2.  udaf（类似聚合函数）