像查询关系型DB一样查询redis

比眉伴天荒 2023-02-13 14:47 6阅读 0赞

## 关键字 ##

*  db，mysql
 *  大视图
 *  效率
 *  缓存，redis

## 1、背景 ##

业务过程中可能会存在一种场景，即数据汇总自数个业务系统，每个业务系统会生产不同的业务数据，如下，4个业务系统A、B、C、D…：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70]  
各自会生产各类型的数据：

<table> 
 <thead> 
  <tr> 
   <th>业务系统</th> 
   <th>任务类型数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>系统A</td> 
   <td>6</td> 
  </tr> 
  <tr> 
   <td>系统B</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>系统C</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>系统D</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>系统E</td> 
   <td>…</td> 
  </tr> 
  <tr> 
   <td>系统F</td> 
   <td>…</td> 
  </tr> 
 </tbody> 
</table>

目前需要将10种类型数据汇总，常规的做法是弄张大视图，这样所有数据均汇总至视图big\_view，如下。

CREATE VIEW big_view AS
    SELECT column_name(s)
    FROM A
    WHERE condition
    UNION ALL B
    UNION ALL C
    UNION ALL D
    UNION ALL E
    UNION ALL F
    UNION ALL G
    UNION ALL H
    UNION ALL I
    UNION ALL J
    UNION ALL K
    UNION ALL L
    UNION ALL M

若需要查询各类型数据只需要select \* from big\_view即可。但引出了另外一个问题-性能，数据量少查询效率慢不明显，但随着业务持续发展，数据量在不断增加，这种跨7~8个库，涉及几十张表的视图将不再能满足要求。用户抱怨会不断增加。

大视图查询耗时如下，一个字“慢”，两个字“蜗牛”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 1]

## 2、方案 ##

<table> 
 <thead> 
  <tr> 
   <th>方案编号</th> 
   <th>方案主题</th> 
   <th>方案内容</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>缓存</td> 
   <td>开发SDK，提供给各业务系统，实现增删同步</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>缓存</td> 
   <td>定时同步视图数据至缓存，定制控制删除触发</td> 
  </tr> 
 </tbody> 
</table>

本文重点关注方案2。不论方案1、方案2，其最终依赖的技术实践大同小异。

## 3、实现 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 2]

### 条件1：select \* from big\_view order by create\_time desc ###

### 条件2：select \* from big\_view where field = \#\{\} order by create\_time desc ###

### 条件3：select \* from big\_view where field0 = \#\{\} and field1 = \#\{\} order by create\_time desc ###

### 条件4：select \* from big\_view where field0 = \#\{\} and field1 = \#\{\} order by create\_time desc limit 0,10 ###

## 4、效果 ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200530110009194.bmp?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200530121640748.PNG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200530122923599.bmp?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xvb25nc2hhd24=,size_16,color_FFFFFF,t_70