数据仓库之数仓分层

怼烎@ 2023-02-13 11:35 85阅读 0赞

**1 为什么要分层**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]  
1.1 把复杂问题简单化，将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。  
1.2 减少重复开发：规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。  
1.3 隔离原始数据： 不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开  
**2 数据集市与数据仓库概念**

2.1 数据集市（Data Market），现在市面上的公司和书籍对数据集市有不同的概念。  
数据集市侧是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此部门级的，一般只能为某个局部范围内的管理人员服务  
数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]  
**3 数仓命名规范**

3.1 表命名  
 ODS层命名为ods\_表名  
 DWD层命名为dwd\_dim/fact\_表名  
 DWS层命名为dws\_表名  
 DWT层命名为dwt\_购物车  
 ADS层命名为ads\_表名  
 临时表命名为xxx\_tmp  
 用户行为表，以log为后缀。

3.2 脚本命名  
 数据源\_to\_目标\_db/log.sh  
 用户行为脚本以log为后缀；业务数据脚本以db为后缀。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528212517950.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020052821354653.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70