Canal工作原理

小灰灰 2023-07-17 06:22 5阅读 0赞

## 1、MySQL主从复制原理 ##

![E5_9B_BE_E7_89_87-20.png][]

## 2、Canal 的工作原理 ##

![E5_9B_BE_E7_89_87-21.png][]

1.  canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议
2.  mysql master收到dump请求，开始推送binary log为slave
3.  canal解析binary log对象（原始为byte流）

## 3、MySQL的binary log ##

MySQL 的二进制日志可以说是 MySQL 最重要的日志了，它记录了所有的 DDL 和DML (除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

一般来说开启 binlog 日志大概会有 1% 的性能损耗。 binlog日志有两个最重要的使用场景:

1.  MySQL Replication 在 Master 端开启 binlog，Mster 把它的二进制日志传递给 slaves 来达到 master-slave 数据一致的目的。
2.  自然就是数据恢复了，通过使用 mysql binlog 工具来使恢复数据

## 4、binary log 格式 ##

binlog有3中格式：statement，row，mixed

### 4.1 statement ###

**语句级别**

binlog会记录每次执行的写操作的语句，注意记录的是语句，salve会自动重新执行写操作语句，从而达到与master一致

优点： 节省空间

缺点： 有可能造成数据不一致（例如：随机数）

### 4.2 row ###

**行级**

binlog会记录每次操作后每行记录的变化

优点：保持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果。

缺点：占用较大空间。 如果一条语句执行之后导致很多行发生了变化, 则会产生很多条记录

### 4.3 mixed ###

statement的升级版，一定程度上解决了因为一些情况而造成的statement模式不一致问题

**在某些情况下会按照 ROW的方式进行处理**

1.  包含UUID（）时
2.  包含 auto\_increment字段的表被更新时
3.  执行 insert delayed语句时
4.  用UDF时

优点：节省空间，同时兼顾了一定的一致性。

缺点：还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog 的监控的情况都不方便。

**由于 canal 是监控的数据的变化, 所以 binlog 的格式需要设置成 row 格式  **

[E5_9B_BE_E7_89_87-20.png]: http://47.112.223.94/wp-content/uploads/2020/03/%E5%9B%BE%E7%89%87-20.png
[E5_9B_BE_E7_89_87-21.png]: http://47.112.223.94/wp-content/uploads/2020/03/%E5%9B%BE%E7%89%87-21.png

发表评论取消回复

表情：

评论列表（有 0 条评论，5人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据Canal（四）：Canal HA原理及安装

![d1a6c5d143c94eb39727f9631bb5d598.jpeg][] 文章目录 Canal HA原理及安装一、Canal HA原理 [d1a6c5d

电玩女神/ 2024年03月26日 18:55/ 0 赞/ 99 阅读

相关 Canal：工作原理

MySQL主从复制原理 MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events)

柔情只为你懂/ 2024年03月22日 09:41/ 0 赞/ 64 阅读

相关 canal部署、原理和使用介绍

canal简介及canal部署、原理和使用介绍 canal入门什么是canal 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，

川长思鸟来/ 2023年09月28日 12:07/ 0 赞/ 126 阅读

相关 Canal工作原理

1、MySQL主从复制原理 ![E5_9B_BE_E7_89_87-20.png][] 2、Canal 的工作原理 ![E5_9B_BE_E7_89_87-21.

小灰灰/ 2023年07月17日 06:22/ 0 赞/ 6 阅读

相关 canal--canal+MQ

首发网址：[canal--canal+MQ\_IT利刃出鞘的博客-CSDN博客\_canal mq][canal--canal_MQ_IT_-CSDN_canal mq]

阳光穿透心脏的1/2处/ 2023年05月21日 11:55/ 0 赞/ 68 阅读

相关【Canal】Canal学习笔记

目录一、Canal 介绍 1.1 Canal 概述 1.2 Canal 原理二、Canal 安装和使用 2.1 mysql 准备 2.1.1 开启 mysql

朴灿烈づ我的快乐病毒、/ 2023年02月13日 17:09/ 0 赞/ 324 阅读

相关 Canal工作原理和安装步骤详解

一、工作原理 1、简介 canal可以用来监控数据库数据的变化，从而获得新增数据、修改数据，阿里公司开始尝试逐步基于数据库的日志解析，获取增量变更进行同步，由此衍生出了

淡淡的烟草味﹌/ 2022年12月26日 00:50/ 0 赞/ 180 阅读

相关 Canal的原理

目录为什么需要 Canal Canal 工作原理 Mysql 的主从复制 Canal 的工作原理 Mysql 的 B

秒速五厘米/ 2022年12月06日 12:45/ 0 赞/ 162 阅读

相关 canal工作原理

canal工作原理 mysql的主从复制原理 1. MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件bin

ゞ浴缸里的玫瑰/ 2022年11月08日 14:24/ 0 赞/ 118 阅读

相关 canal

教程： [http://www.importnew.com/25189.html][http_www.importnew.com_25189.html] [https:

落日映苍穹つ/ 2022年05月14日 05:28/ 0 赞/ 298 阅读