canal简介及安装部署

灰太狼 2022-10-30 13:27 235阅读 0赞

# canal简介 #

## 一、什么是 Canal ##

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。、

Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于Canal）。

**参考的文档**：https://github.com/alibaba/canal

**上手和配置**：https://github.com/alibaba/canal/wiki/AdminGuide

## 二、Canal的工作原理 ##

工作原理：

**在mysql中开启binlog日志记录，可以完成主从复制！**

**canal 会伪装(实现了mysql的binlog日志的传输协议)为 mysql的一个从机实例！ 向mysql的主机发送dump请求，**

主机将binlog日志发送给canal,有canal解析，解析后，可以发送到任意地方！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

复制过程分成三步：

1）Master主库将改变记录写到二进制日志(binary log)中；

2）Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志(relay log)；

3）Slave从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

架构：

![https://www.processon.com/view/link/602f30b16376891d5f86e03e][https_www.processon.com_view_link_602f30b16376891d5f86e03e]

## 三、使用场景 ##

1）原始场景： 阿里Otter中间件的一部分  
Otter是阿里用于进行异地数据库之间的同步框架，Canal是其中一部分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]

2） 常见场景1：更新缓存  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]

3）场景2：抓取业务数据新增变化表，用于制作拉链表。

4）场景3：抓取业务表的新增变化数据，用于制作实时统计。

## 四、部署和配置 ##

### 4.1 MySQL的准备 ###

设置密码有效长度4位及以上

mysql> set global validate_password_length=4;

设置密码策略最低级别

mysql> set global validate_password_policy=0;

在mysql中执行

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';

修改/etc/my.cnf文件

[root@hadoop102 mysql]# vi /etc/my.cnf
    server-id=1
    log-bin=mysql-bin
    binlog_format=row
    binlog-do-db=gmall2020

重启MySql

[atguigu@hadoop102 ~]$ sudo systemctl restart mysqld

### 4.2 Canal 安装 ###

Canal的下载  
https://github.com/alibaba/canal/releases  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]

把canal.deployer-1.1.2.tar.gz拷贝到Linux,解压缩  
尖叫提示：需要自己创建一个目录用于存放解压之后的Canal数据

修改canal的配置

vim conf/canal.properties

这个文件是canal的基本通用配置，主要关心一下端口号，不改的话默认就是11111  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]

vim conf/example/instance.properties

instance.properties是针对要追踪的MySQL的实例配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]

启动canal

./bin/startup.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221024/965673e7147549578520339b24527e6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221024/fdfcc6352f71405b9d628e14ed99b80b.png
[https_www.processon.com_view_link_602f30b16376891d5f86e03e]: /images/20221024/c088e3d9d15d462d832b6bd1f73d5906.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]: /images/20221024/ae0f12e7d2c946f88e3aa7f27054756f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]: /images/20221024/efa31a5934b0493db856de206c80cb49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]: /images/20221024/aecc45ff2f7b4c1a9d2fb73721cc28ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]: /images/20221024/87fc87603c17474fb076e38ae4c67f9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]: /images/20221024/c1f4acd4b4344e4ba90b0262f955336c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]: /images/20221024/cdea6db62fae433abaf0bab5160372c8.png