阿里Canal部署及使用理解

女爷i 2022-06-02 10:15 297阅读 0赞

# 阿里Canal部署及使用理解    #

Canal的git地址 https://github.com/alibaba/canal

Canal原理：

1.canal模拟mysql slave的交互协议，伪装自己为mysql slave,向mysql master发送dump协议；

2.mysql master收到dump请求，开始推送binary log给slave(也就是canal)

3.canal解析binary log对象（原始byte流）

Canal部署：

1.首先针对mysql服务，需要对mysql进行设置，开启binlog权限：

[mysqld]
    log-bin=mysql-bin #添加这一行就ok
    binlog-format=ROW #选择row模式
    server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

2.对配置在canal的mysql用户进行赋权操作（需要模拟slave）：

CREATE USER canal IDENTIFIED BY 'canal';  
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
    -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
    FLUSH PRIVILEGES;

3.下载canal并进行解压（当时操作的版本为canal.deployer-1.0.25.tar.gz）

4.对canal进行参数设置：

应用参数：

vi conf/example/instance.properties
    ## mysql serverId
    canal.instance.mysql.slaveId = 1234
    
    position info，需要改成自己的数据库信息
    
    
    canal.instance.master.address = 127.0.0.1:3306
    canal.instance.master.journal.name =
    canal.instance.master.position =
    canal.instance.master.timestamp =
    
    
    #canal.instance.standby.address =
    #canal.instance.standby.journal.name =
    #canal.instance.standby.position =
    #canal.instance.standby.timestamp =
    
    username/password，需要改成自己的数据库信息
    
    
    canal.instance.dbUsername = canal
    
    canal.instance.dbPassword = canal
    canal.instance.defaultDatabaseName =
    canal.instance.connectionCharset = UTF-8
    #正则控制对那些数据库的哪些表进行监控，.\..则是全库全表
    table regex
    canal.instance.filter.regex = .\..

说明：

canal.instance.connectionCharset 代表数据库的编码方式对应到java中的编码类型，比如UTF-8，GBK , ISO-8859-1

启动服务。

sh bin/startup.sh

使用样例：

在github上有具体说明，通过java实现读取binlog日志信息，进行解析。