MySQL数据同步ES的4种方法，你能想到几种？

约定不等于承诺〃 2024-03-29 15:16 85阅读 0赞

大家好，我是老三，这期给大家分享一个电商中常见的场景——MySQL数据同步Elasticsearch。

![商品检索][827a7c6b8a004a51867fa3f0f5577d5d.png]

大家应该都在各种电商网站检索过商品，那么检索商品一般都是通过什么实现呢？搜索引擎Elasticsearch。

那么问题来了，商品上架，数据一般写入到MySQL的数据库中，那么用于检索的数据又是怎么同步到Elasticsearch的呢？

![MySQL同步ES][MySQL_ES]

## 1.同步双写 ##

这是能想到的最直接的方式，在写入MySQL，直接也同步往ES里写一份数据。

![同步双写][1f4b30e8bba44e07854984613b677bea.png]

对于这种方式：

*  优点：实现简单
 *  缺点：
    
     *  业务耦合，商品的管理中耦合大量数据同步代码
     *  影响性能，写入两个存储，响应时间变长
     *  不便扩展：搜索可能有一些个性化需求，需要对数据进行聚合，这种方式不便实现

## 2.异步双写 ##

我们也很容易想到异步双写的办法，上架商品的时候，先把商品数据丢进MQ，为了解耦合，我们一般会拆分一个搜索服务，由搜索服务去订阅商品变动的消息，来完成同步。

![异步双写][a479c9c382c947f8a2f01db2809785cb.png]

前面说的，一些数据需要聚合处理成类似宽表的结构怎么办呢？例如商品库的商品品类、spu、sku表是分开的，但是查询是跨维度的，在ES里再聚合一次效率就低一些，最好就是把商品的数据给聚合起来，在ES里以类似大宽表的形式存储，这样一来查询效率就高一些。

![多维度多条件查询][1b62791f153145b2a3afe44309ea8617.png]

这种其实没什么好办法，基本上还是得搜索服务直接查库，或者远程调用，再查询一遍商品的数据库，就是所谓的回查。

![回查完成聚合][56fb40edc5f447c08d4200091a81e191.png]

这种方式：

*  优点：
    
     *  解耦合，商品服务无需关注数据同步
     *  实时性较好，使用MQ，正常情况下，同步完成在秒级
 *  缺点：
    
     *  引入了新的组件和服务，增加了复杂度

## 3.定时任务 ##

假如我们要快速搞搞，数据量有没那么大，怎么办呢？定时任务也可以。

![定时任务][2777c5a1f1244d4eb7ffa05689e3df99.png]

定时任务，最麻烦的一点是频率不好选，频率高的话，会非自然地形成业务的波峰，导致存储的CPU、内存占用波峰式上升，频率低的话实时性比较差，而且也有波峰的情况。

这种方式：

*  优点：实现比较简单
 *  缺点：
    
     *  实时性难以保证
     *  对存储压力较大

## 4.数据订阅 ##

还有一种方式，就是最时兴的数据订阅。

MySQL通过binlog订阅实现主从同步，各路数据订阅框架比如canal就依据这个原理，将client组件伪装成从库，来实现数据订阅。

![MySQL主从同步][MySQL]

我们以应用最广泛的canal为例，canal通过`canal-adapter`，支持多种适配器，其中就有ES适配器，通过一些配置，启动之后，就可以直接把MySQL数据同步到ES，这个过程是零代码的。

![canal同步数据][canal]

但是，和老板了解过，使用canal看起来很美好，帮我们把同步的事情都干了，但其实，还是要写代码。为什么呢？

前面提到的多张表数据聚合，canal的支持没那么好，所以还是得回查。这时候用canal-adapter就不合适了，需要自己实现canal-client，监听和聚合数据，写入ES：

![数据订阅+回查][af4d9c7718074422beb6ced065336b51.png]

这种看起来和异步双写比较像，但是第一降低了商品服务的耦合，第二数据的实时性更好。

所以使用数据订阅：

*  优点：
    
     *  业务入侵较少
     *  实时性较好

至于数据订阅框架的选型，主流的大体上是这些：

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Cancal</th> 
   <th>Maxwell</th> 
   <th>Python-Mysql-Rplication</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>开源方</td> 
   <td>阿里巴巴</td> 
   <td>Zendesk</td> 
   <td>社区</td> 
  </tr> 
  <tr> 
   <td>开发语言</td> 
   <td>Java</td> 
   <td>Java</td> 
   <td>Python</td> 
  </tr> 
  <tr> 
   <td>活跃度</td> 
   <td>活跃</td> 
   <td>活跃</td> 
   <td>活跃</td> 
  </tr> 
  <tr> 
   <td>高可用</td> 
   <td>支持</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>客户端</td> 
   <td>Java/Go/PHP/Python/Rust</td> 
   <td>无</td> 
   <td>Python</td> 
  </tr> 
  <tr> 
   <td>消息落地</td> 
   <td>Kafka/RocketMQ 等</td> 
   <td>Kafka/RabbitNQ/Redis 等</td> 
   <td>自定义</td> 
  </tr> 
  <tr> 
   <td>消息格式</td> 
   <td>自定义</td> 
   <td>JSON</td> 
   <td>自定义</td> 
  </tr> 
  <tr> 
   <td>文档详略</td> 
   <td>详细</td> 
   <td>详细</td> 
   <td>详细</td> 
  </tr> 
  <tr> 
   <td>Boostrap</td> 
   <td>不支持</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
 </tbody> 
</table>

除了MySQL同步ES，MySQL同步到其它的数据存储，例如HBase，其实大体上都是类似的几种方法。

--------------------

**参考：**

\[1\]. https://www.infoq.cn/article/1afyz3b6hnhprrg12833

\[2\].https://www.iamle.com/archives/2900.html

\[3\].https://blog.51cto.com/lianghecai/4755693

\[4\].https://qinyuanpei.github.io/posts/1333693167/

\[5\].https://github.com/alibaba/canal/wiki/ClientAdapter

--------------------

[827a7c6b8a004a51867fa3f0f5577d5d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/6bda7e60dc97488b899d06d5a3bb428a.png
[MySQL_ES]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/16c7cec4ef564f059bdb3ab8efbd0a99.png
[1f4b30e8bba44e07854984613b677bea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/b4a00c0af00b4f92853e8f03e6616d64.png
[a479c9c382c947f8a2f01db2809785cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/2c374ff1eb79441c840ccf2f0ba6f078.png
[1b62791f153145b2a3afe44309ea8617.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/89e7f16bca4143db850049fd67222701.png
[56fb40edc5f447c08d4200091a81e191.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/cb8f186203a14e6fb63731152f0e0f05.png
[2777c5a1f1244d4eb7ffa05689e3df99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/1d87eec4c7a641619ad6d2a3ae131416.png
[MySQL]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/83dbb709bfea4c0b8e29b59e2a788dd3.png
[canal]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/5ba7ee47a609465586cd67a15b2610ec.png
[af4d9c7718074422beb6ced065336b51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/cf8144a73dad4ce3a1855126b0eed829.png