大数据_数据中台_数据分层

约定不等于承诺〃 2024-03-31 10:39 15阅读 0赞

**目录**

分层总览

ODS:操作数据层

DIM:维度数据层

DWD:明细数据层

DWS:汇总数据层

ADS:数据应用层

CDM:公共数据层

数据层级调用原则

--------------------

### **分层总览** ###

![9e17b45cda8641a7a446e12b3d83bac6.png][]

### **ODS:操作数据层** ###

**ODS**(Operate Data Store）,ODS层数据是数据仓库的第一层数据，是业务数据库的原始数据的复制，例如，每条产品线的用户信息、订单信息等数据一般都是原封不动地同步到数据中台的ODS层中。ODS层的作用是在业务系统和数据仓库之间形成一个隔离层，在数据中台进行计算任务时，可以以ODS层的数据为基础进行计算，从而不给业务数据库增加负担。

### DIM:维度数据层 ###

**DIM**(Dictionary Data Layer ）,DIM层保存维度的属性值，可以跟事实表做关联，将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。比如城市、省份、客户端等维度的数据。

### DWD:明细数据层 ###

**DWD**(Data Warehouse Detail ）,DWD层数据是数据仓库的第二层数据，一般是基于ODS和DIM层的数据做轻度汇总。DWD层储存经过处理后的标准数据，需要对ODS层数据进行再次清洗（如去空/去脏数据、去超过极限的数据等操作）。DWD层的结构和粒度一般与ODS层保持一致，但是DWD汇总了DIM层的维度数据，比如在ODS层只能看到客户端的ID字段，但是在DWD不但能看到客户端ID字段，还能看到客户端的名称字段。

### DWS:汇总数据层 ###

**DWS**(Data Warehouse Service）,DWS层数据是数据仓库的第三层数据，是以DWD层的数据为基础进行汇总计算的数据。DWS层都是各个维度的汇总数据，一般为宽表，勇于提供后续的业务查询，OLAP分析，数据分发等。比如某日某产品线的访问用户数、收藏用户数、加购用户数、下单用户数、支付用户数等。

### ADS:数据应用层 ###

**ADS**(Application Data Store）,ADS层数据是数据仓库的最后一层数据，以DWS层数据为基础进行数据处理。设计ADS层的最主要目的就是给数据可视化应用提供最终的数据。后端开发工程师基于ADS层的数据将最终数据结果以接口的形式展示给数据中台的应用层。

### CDM:公共数据层 ###

**CDM**(Common Data Model)，公共数据层，包含DIM、DWD和DWS。主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。

### 数据层级调用原则 ###

1、ADS层应该优先调用CDM层数据，不允许跨越CDM层直接调用ODS.

2、DWS层应该优先调用DWD层数据，不允许逆向调用ADS数据

3、CDM层累计快照、周期快照实施表应该调用对应的事务事实表，以保证数据一致性

4、ADS层应该计量复用已有的DWS表，减少直接引用DWD表的情况

5、ADS、DWS、DWD层表允许直接访问DIM表

[9e17b45cda8641a7a446e12b3d83bac6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/25f107e641034070b4ac8db3ed10f669.png