Alibaba Canal

一时失言乱红尘 2023-05-22 06:35 4阅读 0赞

**一、简介**

基于日志增量订阅和消费的业务包括

*  数据库镜像
 *  数据库实时备份
 *  索引构建和实时维护(拆分异构索引、倒排索引等)
 *  业务 cache 刷新
 *  带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

**二、原理**

MySQL主备复制原理

[![format_png][]][format_png 1]

*  MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
 *  MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
 *  MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

*  canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
 *  MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
 *  canal 解析 binary log 对象(原始为 byte 流)

**三、安装和部署**

[https://www.jianshu.com/p/b591b915a8f8][https_www.jianshu.com_p_b591b915a8f8]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jYW1vLmdpdGh1YnVzZXJjb250ZW50LmNvbS9lZWMxNjA1ODYyZmU5ZTk5ODliOTdkZDI0ZjI4YTRiYzVkN2RlYmVjLzY4NzQ3NDcwM2EyZjJmNjQ2YzJlNjk3NDY1Nzk2NTJlNjM2ZjZkMmY3NTcwNmM2ZjYxNjQyZjYxNzQ3NDYxNjM2ODZkNjU2ZTc0MmYzMDMwMzgzMDJmMzMzMDM4MzYyZjM0MzYzODYzMzE2MTMxMzQyZDY1Mzc2MTY0MmQzMzMyMzkzMDJkMzk2NDMzNjQyZDM0MzQ2MTYzMzUzMDMxNjEzNzMyMzIzNzJlNmE3MDY3?x-oss-process=image/format,png
[format_png 1]: https://camo.githubusercontent.com/eec1605862fe9e9989b97dd24f28a4bc5d7debec/687474703a2f2f646c2e69746579652e636f6d2f75706c6f61642f6174746163686d656e742f303038302f333038362f34363863316131342d653761642d333239302d396433642d3434616335303161373232372e6a7067
[https_www.jianshu.com_p_b591b915a8f8]: https://www.jianshu.com/p/b591b915a8f8

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据Canal（一）：Canal介绍

![d33812524f4b4eb4a46a90e5ecaa45bc.jpeg][] 文章目录 Canal介绍一、什么是Canal [d33812524f4b4eb

痛定思痛。/ 2024年03月26日 18:50/ 0 赞/ 75 阅读

相关 Alibaba Canal

一、简介基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新

一时失言乱红尘/ 2023年05月22日 06:35/ 0 赞/ 5 阅读

相关 canal--canal+MQ

首发网址：[canal--canal+MQ\_IT利刃出鞘的博客-CSDN博客\_canal mq][canal--canal_MQ_IT_-CSDN_canal mq]

阳光穿透心脏的1/2处/ 2023年05月21日 11:55/ 0 赞/ 54 阅读

相关【Canal】Canal学习笔记

目录一、Canal 介绍 1.1 Canal 概述 1.2 Canal 原理二、Canal 安装和使用 2.1 mysql 准备 2.1.1 开启 mysql

朴灿烈づ我的快乐病毒、/ 2023年02月13日 17:09/ 0 赞/ 313 阅读

相关 canal实战(二)|canal java客户端

> \\ 本文章改编于阿里开源工具Canal，原版网址[https://github.com/alibaba/canal][https_github.com_alibaba_c

迷南。/ 2022年12月22日 14:26/ 0 赞/ 439 阅读

相关 canal 简介

-------------------- canal 简介官网：[https://github.com/alibaba/canal/wi

爱被打了一巴掌/ 2022年10月06日 10:43/ 0 赞/ 223 阅读

相关 canal简介

1.简介 canal是纯Java开发的，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。原理相对比较简单： 1. 1. canal

妖狐艹你老母/ 2022年06月10日 05:16/ 0 赞/ 291 阅读

相关 java.lang.AbstractMethodError: com.alibaba.otter.canal.common.zookeeper.ZooKeeperx.writeDat aReturnS

错误java.lang.AbstractMethodError java.lang.AbstractMethodError: com.alibaba.otter.ca

青旅半醒/ 2022年06月01日 01:23/ 0 赞/ 114 阅读

相关 canal

教程： [http://www.importnew.com/25189.html][http_www.importnew.com_25189.html] [https:

落日映苍穹つ/ 2022年05月14日 05:28/ 0 赞/ 287 阅读

相关 canal安装

介绍 canal基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。可以通过canal实现基于日志增量订阅&消费支持的业务： 1. 数据库镜像

Myth丶恋晨/ 2022年04月12日 04:58/ 0 赞/ 274 阅读