数仓数据处理与数据流向

柔光的暖阳◎ 2022-09-05 00:30 214阅读 0赞

### 文章目录 ###

*  一、数据流向
 *  数据运营层（ODS）数据采集
 *  数据仓库（DW）
 *   *  DWD：data warehouse details 格式化预处理
     *  DWB：data warehouse base
     *  DWS：data warehouse service
 *  数据服务层/应用层（ADS）
 *  二、数据仓库数据处理流程
 *   *  数据采集
     *   *  日志类文件
         *  DB数据源数据采集
     *  数据入库
     *  数据清洗ODS
     *  数据轻度聚合 DWS

# 一、数据流向 #

# 数据运营层（ODS）数据采集 #

ODS：Operation Data Store 数据准备区，也称为贴源层

数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

ODS的意义，在于保存最完整的数据现场，便于一些特殊场景下的问题排查使用。

点击、展现、订购、收视

# 数据仓库（DW） #

Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步**挖掘数据资源、为了决策需要**而产生的，它是**一整套包括了etl、调度、建模在内的完整的理论体系**。

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 它是单个数据存储，出于分析性报告和决策支持目的而创建。

DW数据分层，由下到上为DWD，DWB，DWS。

## DWD：data warehouse details 格式化预处理 ##

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。

主要对ODS数据层做一些数据清洗和规范化的操作。

预处理指将数据变成半格式化或者是格式化数据，例如存在HDFS上的标准格式，我们就用字符串的格式来统一存储。

处理一些脏数据，例如字段缺失、格式错误、乱码、空值，等等

*  数据清洗：去除空值、脏数据、超过极限范围的

统一预处理

## DWB：data warehouse base ##

DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。

## DWS：data warehouse service ##

DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。

*  用户行为，轻度聚合
 *  主要对ODS/DWD层数据做一些轻度的汇总。

# 数据服务层/应用层（ADS） #

*  ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。

保证数据的一致性，保证需求响应的速度

# 二、数据仓库数据处理流程 #

## 数据采集 ##

### 日志类文件 ###

数据采集流程，以中兴cdn收视话单采集流程为例

### DB数据源数据采集 ###

DB数据源采集，常见的有Mysql、mongodb,主要使用datax作为数据抽取工具，以CMS内容数据抽取为例，介绍DB数据采集流程：

## 数据入库 ##

数据入库流程，数据采集节点的Flume采集到数据之后，会向数据仓库节点Flume发送，数仓节点flume接收到数据后写入文件系统，文件写入完成后写入hdfs，账期数据到达hdfs后会通知调度系统，调度系统接收信令得知某类账期数据已入库。

## 数据清洗ODS ##

数据清洗操作，将hdfs文件加载到ods层数据，完成原始数据的ID统一化、异常值清洗、统一数据格式、关联维表进行维度属性补充等。

## 数据轻度聚合 DWS ##

DWS层数据轻度聚合，划分主题域，冗余尽可能多的维度信息，对于提高下游计算的速度、减少运算数据量、简化业务逻辑、合并计算单元等具有特别大的好处。聚合过程中，往往会将事实表关联一个或多个维度表，计算过程会生成大量中间数据，计算完成后清理中间过程数据，将结果数据写入目标表。

发表评论取消回复

表情：

评论列表（有 0 条评论，214人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据——数据流式处理

一、概念大数据中包含两种处理方式：流处理和批处理。 * **流处理：**即流式处理。流式处理假设数据的潜在价值是数据的新鲜度，需要尽快处理得到结果。在这种方式...

爱被打了一巴掌/ 2024年04月17日 17:11/ 0 赞/ 12 阅读

相关数仓工具—Hive语法之Json 数据处理(1)

Json 格式的数据处理 Json 数据格式是我们比较常用的的一种数据格式，例如埋点数据、业务端的数据、前后端调用都采用的是这种数据格式，所以我们很有必要学习一下这种数据

Love The Way You Lie/ 2023年01月01日 02:58/ 0 赞/ 147 阅读

相关大数据之CDH数仓(11) | 数仓之即席查询数仓搭建

目录 Impala安装添加服务选择Impala服务角色分配配置Impala 启动Impa

本是古典何须时尚/ 2022年12月11日 15:18/ 0 赞/ 236 阅读

相关大数据之CDH数仓(9) | 数仓之业务数仓搭建

目录业务数据生成建表语句生成业务数据业务数据导入数仓 Sqoop定时导入脚本 ODS层创建订

约定不等于承诺〃/ 2022年12月11日 15:11/ 0 赞/ 248 阅读

相关大数据之CDH数仓(8) | 数仓之用户行为数仓搭建

目录用户行为日志生成日志数据导入数仓日志采集Flume配置 Flume拦截器消费Kafka Flume配置

浅浅的花香味﹌/ 2022年12月11日 15:07/ 0 赞/ 316 阅读

相关大数据之CDH数仓(5) | 数仓之CDH

Cloudera Manager提供了十分方便的安装向导，大大简化了CDH的安装和部署。选择商业版本 1）欢迎页面 ![在这里插入图片描述][watermark_

待我称王封你为后i/ 2022年12月11日 13:52/ 0 赞/ 202 阅读

相关实时数仓DWD层业务数据处理解决思路

DWD层业务数据在实时数仓中业务数据的变化，可以通过Maxwell或者canal等工具采集到，采用MaxWell将全部数据统一写入一个Topic中, 这些数据包括业务数

左手的ㄟ右手/ 2022年11月09日 14:28/ 0 赞/ 170 阅读

相关数仓学习|初始数仓

目录（1）图解数仓架构（2）数据仓库的特性（3）为什么要建立数据仓库（4）操作性系统，把控数据的三个维度

亦凉/ 2022年09月15日 12:40/ 0 赞/ 146 阅读

相关数仓数据处理与数据流向

文章目录一、数据流向数据运营层（ODS）数据采集数据仓库（DW） DWD：data warehouse details 格式化预处理

柔光的暖阳◎/ 2022年09月05日 00:30/ 0 赞/ 215 阅读

相关 redux(二) 数据流向

上节我们做了一个简单的例子 ![这里写图片描述][SouthEast] 点击按钮,hello会变成其他字符 ![这里写图片描述][SouthEast 1] 点击字体，

约定不等于承诺〃/ 2022年06月12日 03:12/ 0 赞/ 225 阅读