数仓分层总结

梦里梦外; 2023-03-02 10:28 4阅读 0赞

**`数仓分层:`**  
**`ODS层`**  
(1）保持教据原貌不做任何修改，备份  
(2）创建分区表，防止后续的全表扫描  
(3）采用Lzo压缩，并创建索引（切片）  
(4）创建外部表（多人共用）\`内部表（自己使用的临时表）

**`DWD层`**  
(1）数仓维度建模（星型模型）=》维度退化  
商品表+品类表+SPU表+三级分类+二级分类+一级分类=》商品表  
省份+地区表=》地区表―活动表+活动规则表=》活动表  
好处:减少后续大量JOIN操作。  
(2）数据清洗（ETL）专门的岗位，hive sql 、MR、Python、Kettle、SparksQL  
(3）采用Lzo压缩  
(4）parquet列式存储  
(5）脱敏（手机号、身份证号、个人）  
(6）对用户行为数据，进行解析event事件表（10张表，解析）

**`DWS层`**  
每天各个主题的行为数据，会站在维度的角度去分析  
用户、商品、优惠卷主题

**`ADS层`**  
从开始创建，一直到现在的累积数据

**`为什么数仓分层?`**  
减少重复操作  
方便问题定位  
隔离原始数据  
数据集市和数仓概念  
数据集市针对部门级，数据少—些  
敬仓针对的是公司级，敬据多

**`三范式:`**  
(1）多属性不可切割 5台电脑  
(2）不存在部分函数依赖 AB=》C A或者B=》C猜分  
(3）不存在传递函数依赖 A=》B=》C 但是C推不出A

**`OLTP 和OLAP`**  
(1）OLTP mysql  
(2）OLAP hive . spark

**`维度建模:`**  
星型模型:事实表周围一级维度  
雪花模型:事实表周围多级维度  
星座模型:多个事实表，共用维度

`维度建模一般按照以下四个步骤：`选择业务过程→声明粒度→确认维度→确认事实  
**`选择业务过程`**  
述择感兴翻:下单、支付、退款、活动  
全部业务线（前提:时间允许）淘宝、天猫、支付宝妳先做淘宝、后续逐渐做

**`声明粒度`**  
一行代表信息:一条订单、一天的订单、一周的订单  
选择最小粒度

**`确认维度`**  
维度退化:谁 什么时间 什么地点

**`确认事实`**  
度量值个数、件数、金额

**`DWS、DWT主题宽表 在维度的视觉看待业务过程`**  
**`ADS出报表`**

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关数仓分层总结

`数仓分层:` `ODS层` (1）保持教据原貌不做任何修改，备份 (2）创建分区表，防止后续的全表扫描 (3）采用Lzo压缩，并创建索引（切片） (4）创

梦里梦外;/ 2023年03月02日 10:28/ 0 赞/ 5 阅读

相关电商数仓-(数仓分层概念+数仓理论)

目录数仓分层概念为什么要分层数据集市与数据仓库概念数仓命名规范

迈不过友情╰/ 2023年03月01日 13:26/ 0 赞/ 175 阅读

相关数据仓库之数仓分层

1 为什么要分层 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

怼烎@/ 2023年02月13日 11:35/ 0 赞/ 105 阅读

相关【数仓系列】数仓分层的意义价值及如何设计数据分层

文章目录 [一、前言][Link 1] [二、数仓建模][Link 2] [三、数仓分层][Link 3] [四、数仓的基本特征][Link 4]

分手后的思念是犯贱/ 2022年12月08日 04:16/ 0 赞/ 102 阅读

相关数仓实战01：数仓分层

1.为什么分层 1.1 数仓分层： ![format_png][] 1.2 为什么分层 ![format_png 1][] 2.数据集市和数据仓库概念

谁借莪１个温暖的怀抱￠/ 2022年11月29日 03:17/ 0 赞/ 212 阅读

相关实时数仓分层及每层职能

实时数仓分层建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。 ![在这里插入图片描述][w

旧城等待，/ 2022年11月09日 14:24/ 0 赞/ 464 阅读

相关 ODS& DWD& DWS& ADS 数仓分层

数仓分层 ODS：Operation Data Store 原始数据 DWD(数据清洗/DWI ) data warehouse detail 数据明细详情，去

深碍√TFBOYSˉ_/ 2022年11月03日 11:50/ 0 赞/ 178 阅读

相关电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?

电商离线数仓数仓分成哪几层? 数仓为什么要分层? 电商离线数仓项目中的数仓数仓分成哪几层? 1、ODS层（原始数据层）:存放原始数据，直接加

今天药忘吃喽~/ 2022年09月14日 01:49/ 0 赞/ 247 阅读

相关数据仓库之数仓分层及hive分层

目录 [一、数据仓库之数仓分层][Link 1] [（一）为什么要分层？][Link 2] [（二）数仓三层][Link 3]

爱被打了一巴掌/ 2022年08月29日 10:47/ 0 赞/ 342 阅读

相关数据仓库、数仓分层 01

1. 数据仓库的基本概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支

心已赠人/ 2022年03月01日 06:05/ 0 赞/ 226 阅读