实时数仓分层及每层职能

旧城等待， 2022-11-09 14:24 463阅读 0赞

## 实时数仓分层 ##

建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

## 每层职能 ##

<table> 
 <thead> 
  <tr> 
   <th>分层</th> 
   <th>数据描述</th> 
   <th>生成计算工具</th> 
   <th>存储媒介</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ODS</td> 
   <td>原始数据，日志和业务数据</td> 
   <td>日志服务器，maxwell</td> 
   <td>kafka</td> 
  </tr> 
  <tr> 
   <td>DWD</td> 
   <td>根据数据对象为单位进行分流，比如订单、页面访问等等。</td> 
   <td>FLINK</td> 
   <td>kafka</td> 
  </tr> 
  <tr> 
   <td>DWM</td> 
   <td>对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。</td> 
   <td>FLINK</td> 
   <td>kafka</td> 
  </tr> 
  <tr> 
   <td>DIM</td> 
   <td>维度数据</td> 
   <td>FLINK</td> 
   <td>HBase</td> 
  </tr> 
  <tr> 
   <td>DWS</td> 
   <td>根据某个维度主题将多个事实数据轻度聚合，形成主题宽表。</td> 
   <td>FLINK</td> 
   <td>Clickhouse</td> 
  </tr> 
  <tr> 
   <td>ADS</td> 
   <td>把Clickhouse中的数据根据可视化需要进行筛选聚合。</td> 
   <td>Clickhouse SQL</td> 
   <td>可视化展示</td> 
  </tr> 
 </tbody> 
</table>

关于将维度表存储到hbase主要是因为kafka中的数据只能顺序读取，无法随机读取，而实时计算场景对数据的要求数据相应要快，而且一般是宽表，显然存储到kafka并不能满足实时计算后期的聚合需求。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221023/67ea94c2a89d4fefb91bcb05a17db867.png