系列 | 实时数仓实践第一篇NO.1『宽表处理』

Love The Way You Lie 2023-05-31 07:09 1阅读 0赞

![640?wx\_fmt=gif][640_wx_fmt_gif]

点击上方蓝色字体，置顶/星标哦

目前10000+人已关注加入我们

>  **作者**
> 
> **author**
> 
> 诸葛子房，目前就职于一线互联网公司，中国Hbase技术社区委员，从事大数据相关工作。了解互联网、大数据，一直在努力的路上。

**一、实时数仓和离线数仓**

由于离线数仓每天凌晨拉去线上生成数据库(凌晨请求较少，减少线上库压力)，导致数据是T+1，而对于一些时效性要求较强的场景。比如需要看现在的用户数、GMV等等，离线方案就很难解决了。

实时数据仓库就是刚好为了满足时效性要求较高的场景下而生的，但是在做实时数据仓库中经常会遇到一些问题。离线由于表数据都同步到数据仓库中，可以进行随意关联，出一些业务想要的统计结果。但是实时数据，一般是接收线上发送的实时消息或者同步mysql的binlog消息，进行消费的。

这就会出现如果消息来自不同源头，需要对这些消息进行整合关联，不同消息的先后顺序无法保证？关联关系如果比较复杂，不像离线数仓通过sql进行关联，处理效果也会较差。

![640?wx\_fmt=png][640_wx_fmt_png]

**二、实时数仓实践中问题**

下 面是在实时数据仓库加工过程中，经常会遇到的一些问题：

*  1.需要关联维表信息(与离线数仓类似需要关联维表信息，但是实时数据中并没有维表信息）
 *  2.接收多个消息，消息先后顺序无法保证（离线中数据都已经同步，不存在先后问题）
 *  3.一条与信息相关的所有消息是否全部到达(离线可以看作是当天的快照，但实时没办法判断是否全部到达)

**三、宽表解决方案**

针对上述问题、结合工作中的遇到的一些场景，做一些总结，探讨下实时宽表加工方案：

**1.**如何关联维表信息问题：比如说我们计算订单相关数据，需要查询部门或者收货地址的地区等等，需要关联部门相关的维表或者地址信息维表。

**解决方案**：将sku相关的部门信息(T+1)同步到redis、hbase中作为缓存，查询的时候可以先查询缓存中的数据，如果没有查询到再去查询线上接口，能够有效的减少线上接口的压力。

![640?wx\_fmt=png][640_wx_fmt_png 1]

**2.**多个消息无法保证先后顺序问题：还拿订单场景为例，比如我们需要统计订单支付金额，涉及到下单消息、支付消息，正常情况(支付消息后来，但是没办法保证)

**解决方案**：将消息进行分别存储至hbase，

(1)下单消息到了去查询支付消息表，找到了进行下发；没找到进行存储；

(2)支付消息先到达，查询下单消息，查询到了下发；没查询到进行存储

![640?wx\_fmt=png][640_wx_fmt_png 2]

**3.**如何判断一条与信息相关的消息是否全部到达问题：订单场景下，一个订单多个消息(下单消息A、支付消息B、取消消息C等等)，怎么能保证一个订单下的所有消息都达到了呢？比如说：订单od1是不是支付了呢？是不是取消了呢？这些

**解决方案**：不管消息是否全部到达，进行存储至hbase，同时取出该订单相关的所有消息进行下发。

下发出来的数据：

(1)A

(2)A、B

(3)A、B、C

可以看到上述总共发了3次消息，其中A消息发了3次，B消息发了2次，C消息发了1次。可以解决无论哪个消息先到达，只需要根据业务进行判断是否符合条件，进行处理即可。在处理的过程中对每个消息进行幂等处理即可，保证消息不会重复计算。这样既能保证不用讨论消息的先后顺序，又可以保证处理所有的消息，使计算逻辑准确无误。

![640?wx\_fmt=png][640_wx_fmt_png 3]

**四、总结语**

实时数据仓库在保证时效性的同时，难免处理方案不像离线数据那样简单，但如果为了时效性，做一些处理也是在所难免的，毕竟大家更希望看到的是当前的用户量是多少，当前销售额是多少，而不是昨天的。

**觉得内容还不错的话，请分享给更多的朋友哦**

![640?wx\_fmt=gif][640_wx_fmt_gif 1]

![640?wx\_fmt=gif][640_wx_fmt_gif 2]

**您的分享，使我们创作最大的鼓励！**

![640?][640]

**▼ 社区推荐 ▼**

Apache Flink 及大数据领域盛会 Flink Forward Asia 2019 将于 11月28-30日在北京国家会议中心举办，**大会议程已上线，后台回复**「**门票****」**可免费领取大会门票。

▼

（ **点击图片可查看 Flink Forward Asia 2019 详情**）

你也「 **在看** 」吗？

[640_wx_fmt_gif]: /images/20230531/7e40ad5347f742cc9a83aa349c9516ab.png
[640_wx_fmt_png]: /images/20230531/88a34608c5cc4531beaa99574ec45286.png
[640_wx_fmt_png 1]: /images/20230531/1b96230708bc44239e2a1cb92fa4cbad.png
[640_wx_fmt_png 2]: /images/20230531/9ec8985a14384f4b8a21acdbf4b1477e.png
[640_wx_fmt_png 3]: /images/20230531/5dca82f5e4aa4e3aac9ab13c4c415acf.png
[640_wx_fmt_gif 1]: /images/20230531/8ff160cb68804725ae2f46a9e837b010.png
[640_wx_fmt_gif 2]: /images/20230531/1de860ec42854219b94edc635563248c.png
[640]: /images/20230531/6465b5eb56a341f2b56facd3a80a5926.png