数仓分层设计初步

我不是女神ヾ 2023-10-06 21:53 11阅读 0赞

#### 数仓分层 ####

##### 1.ODS、DWD、DWM、DWS、ADS 的含义 #####

网上找的两张概念图如下：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_16_color_FFFFFF_t_70_g_se_x_16]

##### 2.数仓分层设计 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16 1]

##### 3、为什么要分层 #####

我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：

清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。  
数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。  
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。  
把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。  
屏蔽原始数据的异常。  
屏蔽业务的影响，不必改一次业务就需要重新接入数据。

参考：[https://www.cnblogs.com/muzhongjiang/p/12917714.html][https_www.cnblogs.com_muzhongjiang_p_12917714.html]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/659afb97b2b449e5a53881d35c66a62e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_16_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/3e77b50a8ef948c488dedada496799e5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM,size_16,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/c3dbcd06421640d6b7f8f62e09197c21.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM,size_20,color_FFFFFF,t_70,g_se,x_16
[https_www.cnblogs.com_muzhongjiang_p_12917714.html]: https://www.cnblogs.com/muzhongjiang/p/12917714.html