电商离线数仓-拉链表(面试常问)

Love The Way You Lie 2022-09-17 03:00 208阅读 0赞

### 拉链表详解 ###

*  拉链表概念
 *  拉链表更新数据
 *  拉链表形成过程
 *  如何使用拉链表

# 拉链表概念 #

拉链表,记录每条信息的生命周期为单位,一旦记录的生命周结束,就重新开始一条新的记录,并把当前日期放入生效开始日期。

**举个例子来快速理解一下拉链表:一条订单,从2021-01-01这天处于下单状态,2021-01-02处于待支付状态,2021-12-31处于已支付状态,那么正常的从头到尾记录的话,这个表里面单单这一条记录一年就有365条。拉链表做的就是简化表的数量,只记录变化的条数,那么总的就变成了3条,下单,待支付,已完成。当然,拉链表适用于那些不经常变化(大部分时间不变化)的情况。**

为什么要做拉链表?  
Hive数仓b不容易实现对数据的修改。数据量有一定规模,且无法按照每日全量的方式保存。比如:1亿用户\*365天,每天一份用户信息。(无法做每日全量)

# 拉链表更新数据 #

**有一点需要特别注意的是:**  
**Hive数仓的最大特点就是不容易对数据进行更新修改。拉链表是如何对数据进行更改的? 最简单的办法就是不用修改了,直接overwrite覆盖了。**

# 拉链表形成过程 #

1)假设,2019年1月1日的订单全量表是最初始的订单表,如下:

2)初始的拉链表等于最开始的2019年1月1日的订单全量表:

3)第二天1月2日订单全量表 (订单2发生状态修改;订单4,5增加)

4)根据订单表的创建时间和操作时间,得到订单变化表

5)订单变化表与之前的拉链表合并得到(将步骤2和步骤4的表合并)

<table> 
 <thead> 
  <tr> 
   <th>订单ID</th> 
   <th>状态</th> 
   <th>生效开始日期</th> 
   <th>生效结束日期</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>待支付</td> 
   <td>2019-01-01</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>待支付</td> 
   <td>2019-01-01</td> 
   <td>2019-01-01</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>已支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>已支付</td> 
   <td>2019-01-01</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>待支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>已支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
 </tbody> 
</table>

# 如何使用拉链表 #

第一种:某个日期<=生效开始日期 且 某个日期>=生效结束日期,能够得到某个时间点的数据全量切片。  
1)拉链表数据

2)获取2019-01-01的历史切片:

select * from order_info where start_date<='2019-01-01' and end_date>='2019-01-01'

如下:

3)获取2019-01-02的历史切片:

select * from order_info where start_date<='2019-01-02' and end_date>='2019-01-02'

<table> 
 <thead> 
  <tr> 
   <th>订单ID</th> 
   <th>状态</th> 
   <th>生效开始日期</th> 
   <th>生效结束日期</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>待支付</td> 
   <td>2019-01-01</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>已支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>已支付</td> 
   <td>2019-01-01</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>待支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>已支付</td> 
   <td>2019-01-02</td> 
   <td>9999-99-99</td> 
  </tr> 
 </tbody> 
</table>