Canal监听mysql的binlog日志实现数据同步

女爷i 2022-09-03 14:29 393阅读 0赞

### Canal监听mysql的binlog日志实现数据同步 ###

*  1. canal概述
 *   *  1.1 canal简介
     *  1.2 技术选型
     *  1.3 原理分析
     *   *  1.3.1 MySQL主备复制原理
         *  1.3.2 canal原理
 *  2. canal安装配置
 *   *  1.1 mysql环境准备
     *  1.2 canal下载
     *  1.3 canal配置启动
 *  3. 实现验证
 *   *  3.1 案例编码
     *  3.2 实现验证

# 1. canal概述 #

## 1.1 canal简介 ##

canal \[kə’næl\]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。  
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像
    数据库实时备份
    索引构建和实时维护(拆分异构索引、倒排索引等)
    业务 cache 刷新
    带业务逻辑的增量数据处理

**canal要做的就是基于binlog实现增量而不是全量的数据同步。**

## 1.2 技术选型 ##

基于binlog实现数据同步的方案有两种：  
一种是mysql-binlog-connector，另一种是ali的canal。  
mysql-binlog-connector：是通过引入依赖jar包实现，需要自行实现解析，但是相对轻量。  
canal：是数据同步中间件，需要单独部署维护，功能强大，支持数据库及MQ的同步，维护成本高。  
根据实际业务场景，按需索取，业务量小，业务简单，轻量可以通过mysql-binlog-connector，业务量大，逻辑复杂，有专门的运维团队，可以考虑canal，比较经过阿里高并发验证，相对稳定。

Canal监听mysql的binlog日志实现数据同步：[https://blog.csdn.net/m0\_37583655/article/details/119517336][https_blog.csdn.net_m0_37583655_article_details_119517336]  
Java监听mysql的binlog详解(mysql-binlog-connector)：[https://blog.csdn.net/m0\_37583655/article/details/119148470][https_blog.csdn.net_m0_37583655_article_details_119148470]

## 1.3 原理分析 ##

### 1.3.1 MySQL主备复制原理 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70]  
1.MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)  
2.MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)  
3.MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

### 1.3.2 canal原理 ###

1.canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议  
2.MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )  
3.canal 解析 binary log 对象(原始为 byte 流)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 1]canal官网地址：[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png][https_github.com_alibaba_canal]

# 2. canal安装配置 #

## 1.1 mysql环境准备 ##

1.mysql版本  
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。

2.mysql开启binlog  
具体开启验证步骤：[https://blog.csdn.net/m0\_37583655/article/details/119148470][https_blog.csdn.net_m0_37583655_article_details_119148470]  
第2章节环境准备。

## 1.2 canal下载 ##

canal下载地址：[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/releases][https_github.com_alibaba_canal_releases]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 2]canal-admin  
canal-admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。  
[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/Canal-Admin-Guide][https_github.com_alibaba_canal_wiki_Canal-Admin-Guide]

canal-adapter  
增加客户端数据落地的适配及启动功能(支持HBase等)。  
[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/ClientAdapter][https_github.com_alibaba_canal_wiki_ClientAdapter]

canal-deployer  
这个就相当于canal的服务端，启动它才可以在客户端接收数据库变更信息。  
[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/QuickStart][https_github.com_alibaba_canal_wiki_QuickStart]

ClientExample  
Java客户端案例  
[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/ClientExample][https_github.com_alibaba_canal_wiki_ClientExample]

## 1.3 canal配置启动 ##

打开配置文件conf/example/instance.properties，配置数据库连接等信息如下：

#################################################
    ## mysql serverId , v1.0.26+ will autoGen
    # canal.instance.mysql.slaveId=0
    
    # enable gtid use true/false
    canal.instance.gtidon=false
    
    # position info
    canal.instance.master.address=127.0.0.1:3306
    canal.instance.master.journal.name=
    canal.instance.master.position=
    canal.instance.master.timestamp=
    canal.instance.master.gtid=
    
    # rds oss binlog
    canal.instance.rds.accesskey=
    canal.instance.rds.secretkey=
    canal.instance.rds.instanceId=
    
    # table meta tsdb info
    canal.instance.tsdb.enable=true
    #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
    #canal.instance.tsdb.dbUsername=canal
    #canal.instance.tsdb.dbPassword=canal
    
    #canal.instance.standby.address =
    #canal.instance.standby.journal.name =
    #canal.instance.standby.position =
    #canal.instance.standby.timestamp =
    #canal.instance.standby.gtid=
    
    # username/password
    # 在MySQL服务器授权的账号密码字符集
    canal.instance.dbUsername=root
    canal.instance.dbPassword=123456
    canal.instance.connectionCharset = UTF-8
    # enable druid Decrypt database password
    canal.instance.enableDruid=false
    #canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==
    
    # table regex.*\\..*表示监听所有表 也可以写具体的表名，用，隔开
    canal.instance.filter.regex=.*\\..*
    # table black regex
    # mysql 数据解析表的黑名单，多个表用，隔开
    canal.instance.filter.black.regex=mysql\\.slave_.*
    # table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
    #canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
    # table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
    #canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch
    
    # mq config
    canal.mq.topic=example
    # dynamic topic route by schema or table regex
    #canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
    canal.mq.partition=0
    # hash partition config
    #canal.mq.partitionsNum=3
    #canal.mq.partitionHash=test.table:id^name,.*\\..*
    #canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
    #################################################

启动canal.deployer-1.1.5\\bin路径下：startup.bat

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 3]

# 3. 实现验证 #

## 3.1 案例编码 ##

案例源码下载：[/images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/releases][https_github.com_alibaba_canal_releases]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 4]解压后导入maven工程，目录结构如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 5]

## 3.2 实现验证 ##

启动项目，操作数据库，打印日志如下，与[Java监听mysql的binlog详解(mysql-binlog-connector)][https_blog.csdn.net_m0_37583655_article_details_119148470]特别相似，两种方式各有利弊。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 6]

[https_blog.csdn.net_m0_37583655_article_details_119517336]: https://blog.csdn.net/m0_37583655/article/details/119517336
[https_blog.csdn.net_m0_37583655_article_details_119148470]: https://blog.csdn.net/m0_37583655/article/details/119148470
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70]: /images/20220829/c2e76b5d64264870aec63b012f926fec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/32fdfbed8ce44eba901fa2670d1810bd.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1,size_16,color_FFFFFF,t_70
[https_github.com_alibaba_canal]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png
[https_github.com_alibaba_canal_releases]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 2]: /images/20220829/1e99d85dd9424fdb8d7e096eddf05ac9.png
[https_github.com_alibaba_canal_wiki_Canal-Admin-Guide]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/Canal-Admin-Guide
[https_github.com_alibaba_canal_wiki_ClientAdapter]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/ClientAdapter
[https_github.com_alibaba_canal_wiki_QuickStart]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/QuickStart
[https_github.com_alibaba_canal_wiki_ClientExample]: /images/20220829/ad44b5a1f6e6496db00ffc1260b6e8fe.png/wiki/ClientExample
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 3]: /images/20220829/4ec07bd3f73e45548f46ae2c3d46c809.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 4]: /images/20220829/14422d07e7a9471fbca3fcc3ac555c1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 5]: /images/20220829/ccea726fd93c4e5687a3e6242e2753d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 6]: /images/20220829/014e296a32e940efa123c2c434c65813.png