【Hive-原理说明】数仓原理 & Hive说明

电玩女神 2023-10-05 16:25 11阅读 0赞

#### 【Hive-原理说明】数仓原理 & Hive说明 ####

*  1）数据仓库的特征
 *  2）数据库和数据仓库的区别
 *  3）数据仓库的分层架构
 *  4）Hive的架构说明
 *  5）Hive的元数据

## 1）数据仓库的特征 ##

（1）`主题性` : 面向于分析的主题, 分析的需要是什么, 主题就是什么。

（2）`集成性` : 数据可以来源于各个数据源。

（3）`稳定性(非易失性)` : 数据一旦进入数据仓库中, 一般就不允许在进行修改了, 存储的过去 既定发生过的数据。

（4）`时变性` : 随着时间的推移, 原有数据以及无法满足对未来分析, 需要追加新的产生的数据, 以及原定分析方案, 也无法满足分析要求。

## 2）数据库和数据仓库的区别 ##

*  数据库`(OLTP)`: 联机事务处理 eg:`mysql`
 *  数据仓库`(OLAP)`:联机分析处理 eg:`hive`
 *  区别如下:
    
    （1）数据库是面向事务(业务系统)的设计，数据仓库是面向主题设计的。
    
    （2）数据库一般存储业务数据，数据仓库存储的一般是历史数据。
    
    （3）数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。
    
    （4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计。
 *  注意:
    
    数据仓库的出现, 绝对不是为了替代数据库。

## 3）数据仓库的分层架构 ##

（1）`源数据层（ODS）`: 操作性数据(Operational Data Store)

是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，而且ODS的数据周期一般比较短。ODS的数据为后一步的数据处理做准备。

（2）`数据仓库层（DW）`：数据仓库(Data Warehouse)

是数据的归宿，这里保持这所有的从ODS到来的数据，并长期保存，而且这些数据不会被修改,DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

（3）`数据应用层（DA|APP）`：数据应用(Dataapplication)

为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据，该数据面向应用。如根据报表、专题分析需求而计算生成的数据。

*  细化分层:
    
    1、`DWD层`:
    
    明细层 根据分析的主题，从ODS层将相关的数据进行抽取处理，对这些数据进行清洗转换处理工作，形成一张DWD层明细数据。以及在DWD层，也可以做一些维度退化的手段（做的并不是特别的多，主要维度退化在DWM来实施）
    
    2、`DWM层`:
    
    中间层 可以实施局部聚合操作，例如说：后期针对日期进行聚合。日期需要按照年、月、日、小时分别聚合。此时可以在DWM层。先按照小时进行聚合。后续直接累加即可,。以及可以在中间层进行维度退化的操作。
    
    3、`DWS层`: 业务层(宽表)
    
    根据业务要求维度。进行细化统计聚合分析。将各个维度的数据全部统计完成。
 *  ETL概念:
    
     *  `狭义ETL`:
        
        指的数据从数据源，将数据抽取出来，根据主题对数据进行清洗转换处理工作，然后将符合分析的数据，加载到DW层的过程。
     *  `宽泛ETL`:
        
        指定从数据源到ODS层，从ODS层到DW层，从DW层到APP层。

## 4）Hive的架构说明 ##

（1）`Client`：客户端（编写 SQL）

（2）`Driver`：(hive服务)

1.  `解析器`：
    
    接收到SQL，对SQL进行解析，用于获取当前SQL 处理那张表， 表数据存储在什么位置，字段数据以什么格式划分。
2.  `优化器`：
    
    对SQL进行优化操作，主要是用于提升SQL执行效率，hive内部,内置好了多种优化方案，有一些比较固定优化方案，已经配置完成，hive自动使用。
3.  `编译器`：
    
    将SQL 进行编译成MR程序，并在此之前生成执行计划树（整个SQL，要先干什么，然后干什么，接着干什么，最后干什么）
4.  `执行器`：
    
    将MR交给执行器，由执行器将MR提交给yarn平台，由yarn来执行运行即可，数据从HDFS中读取, 如果要保存结果数据，也是保存HDFS。

*  总结：
    
    hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析(离线分析)

## 5）Hive的元数据 ##

（1）hive的元数据是存储在RDBMS中：一般选择都是mysql。

（2）元数据存储的是表的相关信息，不是真正的数据。