电商数仓-(数仓分层概念+数仓理论)

迈不过友情╰ 2023-03-01 13:26 174阅读 0赞

### 目录 ###

*   *  数仓分层概念
     *   *   *  为什么要分层
             *  数据集市与数据仓库概念
             *  数仓命名规范
     *  数仓理论
     *   *   *  范式理论
             *   *   *  范式概念
                     *  函数依赖
                     *  三范式区分
             *  关系建模与维度建模
             *   *   *  关系建模
                     *  维度建模
             *  维度表和事实表（重点）
             *   *   *  维度表
                     *  事实表
             *  数据仓库建模(绝对重点)
             *   *   *  ODS 层
                     *  DWD 层
                     *  DWS 层
                     *  DWT 层
                     *  ADS 层

## 数仓分层概念 ##

#### 为什么要分层 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

#### 数据集市与数据仓库概念 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

#### 数仓命名规范 ####

**`表命名`**  
 ODS层命名为ods\_表名  
 DWD层命名为dwd\_dim/fact\_表名  
 DWS层命名为dws\_表名  
 DWT层命名为dwt\_购物车  
 ADS层命名为ads\_表名  
 临时表命名为xxx\_tmp  
 用户行为表，以log为后缀。  
**`脚本命名`**  
 数据源\_to\_目标\_db/log.sh  
 用户行为脚本以log为后缀；业务数据脚本以db为后缀。

## 数仓理论 ##

#### 范式理论 ####

###### 范式概念 ######

1.定义  
范式可以理解为设计一张数据表的表结构，符合的标准级别。 规范和要求  
2.优点  
关系型数据库设计时，遵照一定的规范要求，目的在于降低数据的冗余性。  
为什么要降低数据`冗余性`？  
(1)十几年前，磁盘很贵，为了减少磁盘存储。  
(2)以前没有分布式系统，都是单机，只能增加磁盘，磁盘个数也是有限的  
(3)一次修改，需要修改多个表，很难保证数据一致性  
3.缺点  
范式的缺点是获取数据时，需要通过 **`Join 拼接`出最后的数据。  
4.分类  
目前业界范式有：`第一范式(1NF)、第二范式(2NF)、第三范式(3NF)`**、巴斯-科德范式 (BCNF)、第四范式(4NF)、第五范式(5NF)。

###### 函数依赖 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]

###### 三范式区分 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]

#### 关系建模与维度建模 ####

当今的数据处理大致可以分成两大类：联机事务处理 OLTP（on-line transactionprocessing）、联机分析处理 OLAP（On-Line Analytical Processing）。**`OLTP 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易`**。**`OLAP 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果`**。二者的主要区别对比如下表所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]

###### 关系建模 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]  
关系模型如图所示，严格遵循第三范式（3NF），从图中可以看出，较为松散、零碎，物理表数量多，而数据冗余程度低。由于数据分布于众多的表中，这些数据可以更为灵活地被应用，功能性较强。关系模型主要应用与 OLTP 系统中，为了保证数据的一致性以及避免冗余，所以大部分业务系统的表都是遵循第三范式的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]  
维度模型如图所示，主要应用于 OLAP 系统中，通常以某一个事实表为中心进行表的组织，主要面向业务，特征是可能存在数据的冗余，但是能方便的得到数据。  
**`关系模型虽然冗余少，但是在大规模数据，跨表分析统计查询过程中，会造成多表关联，这会大大降低执行效率`**。所以通常我们采用维度模型建模，把相关各种表整理成两种：事实表和维度表两种。

###### 维度建模 ######

**`在维度建模的基础上又分为三种模型：星型模型、雪花模型、星座模型。`**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]

#### 维度表和事实表（重点） ####

###### 维度表 ######

维度表：一般是对事实的\*\*`描述信息`\*\*。每一张维表对应现实世界中的一个对象或者概念。  
例如：用户、商品、日期、地区等  
 维表的范围很宽（具有多个属性、列比较多）  
 跟事实表相比，行数相对较小：通常<10 万条  
 内容相对固定：编码表  
时间维度表:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]

###### 事实表 ######

事实表中的每行数据代表一个业务事件（**`下单、支付、退款、评价等`**）。“事实”这个术语表示的是业务事件的度量值（**`可统计次数、个数、件数、金额等`**），例如，订单事件中的下单金额。  
每一个事实表的行包括：具有可加性的数值型的度量值、与维表相连接的外键、通常具有两个和两个以上的外键、外键之间表示维表之间多对多的关系。  
事实表的特征：  
 非常的大  
 内容相对的窄：列数较少  
 经常发生变化，每天会新增加很多。  
(1）事务型事实表  
以`每个事务或事件为单位`\*\*，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。  
(2）周期型快照事实表  
周期型快照事实表中`不会保留所有数据，只保留固定时间间隔的数据`，例如每天或者每月的销售额，或每月的账户余额等。  
(3）累积型快照事实表  
`累计快照事实表用于跟踪业务事实的变化。`例如，数据仓库中可能需要累积或者存储订单从下订单开始，到订单商品被打包、运输、和签收的各个业务阶段的时间点数据来跟踪订单声明周期的进展情况。当这个业务过程进行时，事实表的记录也要不断更新。  
![在这里插入图片描述][20200726174518692.png]

#### 数据仓库建模(绝对重点) ####

###### ODS 层 ######

（1）保持数据原貌不做任何修改，起到备份数据的作用。  
（2）数据采用压缩，减少磁盘存储空间（例如：原始数据 100G，可以压缩到 10G 左右）  
（3）创建分区表，防止后续的全表扫描

###### DWD 层 ######

DWD 层需构建维度模型，一般采用\*\*`星型模型`**，呈现的状态一般为星座模型。  
维度建模一般按照以下四个步骤：  
`选择业务过程→声明粒度→确认维度→确认事实`  
（1）选择业务过程  
在业务系统中，挑选我们**`感兴趣`**的业务线，比如下单业务，支付业务，退款业务，物流  
业务，一条业务线对应一张事实表。  
（2）声明粒度  
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择**`最小粒度`，以此来应各种各样的需求。  
典型的粒度声明如下：  
订单中，每个商品项作为下单事实表中的一行，粒度为每次下单  
每周的订单次数作为一行，粒度就是每周下单。  
每月的订单次数作为一行，粒度就是每月下单。  
（3）确定维度  
维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。  
（4）确定事实  
此处的“事实”一词，指的是业务中的度量值，例如订单金额、下单次数等。在 DWD 层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]  
至此，数仓的维度建模已经完毕，DWS、DWT 和 ADS 和维度建模已经没有关系了。 DWS 和DWT 都是建宽表，宽表都是按照主题去建。主题相当于观察问题的角度。对应着维度表。

###### DWS 层 ######

统计\*\*`各个主题对象`**的**`当天行为`\*\*，服务于 DWT 层的主题宽表，以及一些业务明细数据，  
应对特殊需求（例如，购买行为，统计商品复购率）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 13]

###### DWT 层 ######

以分析的\*\*`主题对象`\*\*为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 14]

###### ADS 层 ######

对电商系统各大主题指标分别进行分析。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20230208/742070aec51f4991be75c679815d46c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20230208/69275ff7cb244769aa09f2bc7af3c47f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020072617185929.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200726172025801.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200726172056793.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020072617211691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200726173225432.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/2020072617330097.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020072617334560.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020072617384835.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200726173929760.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200726174141822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[20200726174518692.png]: https://img-blog.csdnimg.cn/20200726174518692.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200726175015391.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200726175030600.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200726175153247.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200726175257483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70