数仓分层架构，分层目的【重要】

ゝ一纸荒年。 2023-10-14 11:49 4阅读 0赞

**一、数仓分层架构：**

![up-36678fc6072a25ac232a5b5db4e09710e02.png][]

![up-f1b6b39fe8d45e06c9a650c5a11e089da14.png][]

**数据仓库由上到下层分为：ODS原始数据层、DWD明细数据层、DIM**   **维度层、DWS服务数据层/数据汇总层、DWT数据主题层、ADS数据应用层。**

**ODS原始数据层：**  （备份数据），存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理，方便为后期的处理提供数据。

**DWD明细数据层：**  （清洗数据），结构和粒度与原始表保持一致，对ODS层的数据进行清洗。

（即去除空值、脏数据、超出极限范围的数据、对手机号和身份证号等敏感数据脱敏、对业务数据传过来的表进行维度退化和降维、将用户行为宽表和业务表进行数据一致性处理）

**DIM（**   Dimension维度   **）维度层：**  （存放维度数据），这些数据主要是对业务事实的一些描述信息，如何人、何地、何时等。

**DWS服务数据层/数据汇总层（data warehouse summary）：**  （聚合当天数据），以DWD层为基础，  **统计各个主题对象当天的行为**  ，对数据进行轻度汇总，服务于DWT层。

DWS层的宽表字段，是站在不同维度的视角去看事实表，重点关注事实表的度量值，通过与之关联的事实表，获得不同的事实表的度量值。

**DWT主题数据层：**  （聚合所有数据），以DWS层为基础，将一个周期内历史以来所有数据进行汇总，如一周、一年的订单数据汇总在一起。

DWT层以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，  **构建主题对象的全量宽表。**

**ADS数据应用层：**  （统计数据），为各种统计报表提供数据。

**二、数仓分层目的、为什么要分层？**

![up-b0c945c096ad1b694a97bc224e43d4fcbd3.png][]  
我认为数仓分层的原因有三种：

**（1）将原始数据隔离开**

不论是数据的异常还是数据的敏感性，经过清洗后，都可以将统计数据与真实数据解耦开，防止信息泄露等。

**（2）把复杂问题简单化**

通过分层将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单，并且方便定位问题

**（3）减少重复开发**

规范好数据的分层，通过利用中间层的数据，能够极大地减少重复计算，增加一次计算结果的复用性。如果处理过程出现错误，不至于一切从头计算。

>  **延伸问题：** 
> 
>  **1.DWS层做了哪些事？** 
> 
> DWS层有7张宽表（处理100-200个指标70%以上的需求）
> 
> 具体宽表名称：用户行为主题、  访客主题、用户主题、商品主题、优惠券主题、活动主题、地区主题等。 
> 
>  **哪个宽表最宽？大概有多少个字段？** 
> 
> 最宽的是  **用户行为宽表**  ，大概有60-100个字段。
> 
> 具体用户行为宽表字段名称：评论、打赏、收藏、关注的商品、关注的人、点赞、分享、签到、活跃、文章发布、好价爆料、补签卡、幸运屋、礼品、金币、电商点击、gmv等
> 
>  **2.**   **DWS层和DWT层是怎样划分的，为什么有DWT层还需要DWS层** 
> 
> DWS和DWT层统称宽表层，都是对数据进行聚合。
> 
> DWS层存放的是所有主题对象当天的行为汇总，服务于DWT层。例如订单表当天数据的新增、修改等。
> 
> DWT层存放的是所有主题对象的累积行为汇总，例如订单表中，最近7天（或15天、30天、60天）的所有的数据。
> 
>  **3.离线数仓做了哪些工作？** 
> 
> 离线数仓可以将数据从不同的数据源中提取出来，经过备份、清洗、聚合、统计等多种处理后，存储在数仓中，供后续的数据分析或挖掘使用。
> 
> 这样做的好处是可以将数据处理和存储分离，减轻单个系统的负荷，提高数据处理的效率和准确性，同时也能为企业提供更好的决策支持。
> 
>  **4.**   **离线数仓的数据源有哪些？数据的采集有哪些方式？   输出系统有哪些？** 
> 
>  **离线数仓的数据源有：业务数据、用户行为数据、爬虫数据** 
> 
>  **业务数据（**   JavaEE   后台产生的业务数据   **）：**  就是各行业在  **处理事务**  过程中产生的数据，比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。通常业务数据存储在MySQL、Oracle等数据库中。（实打实的数据）
> 
>  **用户行为数据（**   埋点产生的用户行为数据   **）：**  就是用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。
> 
> 爬虫数据（  个别公司有爬虫   数据  ）：通常是通过技术手段获取其他公司网站的数据。（违法的）
> 
>  **数据采集的方式有：Flume、Sqoop、Hadoop** 
> 
>  **输出系统：**  报表系统、用户画像系统、推荐系统

[up-36678fc6072a25ac232a5b5db4e09710e02.png]: https://oscimg.oschina.net/oscnet/up-36678fc6072a25ac232a5b5db4e09710e02.png
[up-f1b6b39fe8d45e06c9a650c5a11e089da14.png]: https://oscimg.oschina.net/oscnet/up-f1b6b39fe8d45e06c9a650c5a11e089da14.png
[up-b0c945c096ad1b694a97bc224e43d4fcbd3.png]: https://oscimg.oschina.net/oscnet/up-b0c945c096ad1b694a97bc224e43d4fcbd3.png