数仓分层设计初步

我不是女神ヾ 2023-10-06 21:53 130阅读 0赞

数仓分层

1.ODS、DWD、DWM、DWS、ADS 的含义

网上找的两张概念图如下：
在这里插入图片描述
在这里插入图片描述

2.数仓分层设计

在这里插入图片描述

3、为什么要分层

我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：

清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
屏蔽原始数据的异常。
屏蔽业务的影响，不必改一次业务就需要重新接入数据。

参考：https://www.cnblogs.com/muzhongjiang/p/12917714.html

发表评论

表情：
评论列表 （有 0 条评论，130人围观）

还没有评论，来说两句吧...

相关阅读

    相关 数仓的极致分层

    分层的优点： 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少

    不念不忘少年蓝@不念不忘少年蓝@/ 0 赞/ 60 阅读

    相关 数仓分层

    数据仓库和数据仓库分层 数据仓库的概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类

    爱被打了一巴掌爱被打了一巴掌/ 0 赞/ 70 阅读

    相关 数仓分层

    ODS：原始数据层 DWD或DWI：明细数据层 DWS：服务数据层或轻度汇总层 ADS：数据应用层 转载于:https://www.cnblogs.com/lidape

    小咪咪小咪咪/ 0 赞/ 33 阅读

    相关 数仓分层总结

    `数仓分层:` `ODS层` (1）保持教据原貌不做任何修改，备份 (2）创建分区表，防止后续的全表扫描 (3）采用Lzo压缩，并创建索引（切片） (4）创

    梦里梦外;梦里梦外;/ 0 赞/ 86 阅读