基于Binlog的数据迁移

朴灿烈づ我的快乐病毒、 2022-10-11 12:11 241阅读 0赞

### 文章目录 ###

*  前言
 *  一、入Binlog实时采集 + 离线还原的解决方案
 *  二、使用步骤
 *   *  1.Binlog
     *  2.Canal
 *  总结

--------------------

# 前言 #

关系模型构建起整个数据分析的基石，关系型数据库作为具体实现、采集MySQL数据接入Hive是很多企业进行数据分析的前提。如何及时、准确的把MySQL数据同步到Hive呢。

--------------------

# 一、入Binlog实时采集 + 离线还原的解决方案 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzYyNjc3_size_16_color_FFFFFF_t_70]

基于Binlog日志的数据还原，与在线业务解耦

采集通过分布式队列实时传递，还原操作在集群上实现，及时性及可扩展性强

Binlog日志包括了增、删、改等明细动作，支持定制化的ETL

# 二、使用步骤 #

## 1.Binlog ##

Binlog是二进制格式的日志文件，用来记录数据库的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)，主要用于数据库的主从复制以及增量恢复。

一共有两种类型二进制记录方式：

Statement模式：每一条会修改数据的sql都会被记录在binlog中，如inserts, updates, deletes。

Row模式: 每一行的具体变更事件都会被记录在binlog中。

Mixed模式是以上两种level的混合使用，默认使用Statement模式，根据具体场景自动切换到Row模式，Row（Mixed）模式从MySQL 5.1版本起可用。

滴滴的MySQL Binlog使用Row模式，记录了每次对数据进行增删改查时，一行数据在变更前后的值，同时无论单列是否被改动，都会记录一行数据的完整信息。

## 2.Canal ##

纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。滴滴内部版本在开源基础上新增了同步到MQ、消息上报功能以及容灾机制。

Canal主要运作方式如下：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向master发送dump协议

mysql master收到dump请求，开始推送binary log到canal

canal解析binary log对象，并将解析的结果编码成JSON格式的文本串

把解析后的文本串发送到消息队列并上报发送情况（如Kafka、DDMQ）

该处使用的url网络请求的数据。

--------------------

# 总结 #

日1.9w+同步任务，近50T数据同步量，实时层面毫秒级别延迟，实现了及时、准确、定制化的同步需求

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzYyNjc3_size_16_color_FFFFFF_t_70]: /images/20221005/c056e11625fa4a69a12043cf3b9565e1.png

发表评论取消回复

表情：

评论列表（有 0 条评论，241人围观）

还没有评论，来说两句吧...

相关阅读

相关基于LVM的底层pv数据迁移：pvmove迁移+DD两种实现方式

概述基于LVM的底层pv数据迁移方式有以下几种： 1. pvmove命令：该命令可以将一个物理卷上的数据移动到另一个物理卷上，而不需要停止逻辑卷的使用。这种方式可以

- 日理万妓/ 2024年03月23日 07:17/ 0 赞/ 54 阅读

相关 Linux如何基于NFS实现数据的迁移、备份

NFS（Network File System）是一种基于网络的文件系统，允许在不同的计算机之间共享文件和目录。使用 NFS，您可以轻松实现数据的迁移和备份。以下是使用 NFS

红太狼/ 2023年10月14日 08:34/ 0 赞/ 5 阅读

相关 Mysql-BinLog数据恢复

介绍 binlog,即二进制日志,它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制（主

雨点打透心脏的1/2处/ 2023年10月02日 18:38/ 0 赞/ 18 阅读

相关 Flink-CDC（基于binlog的查询）

![5ecd9735bbeb08de6134bc44531ecc77.png][] [5ecd9735bbeb08de6134bc44531ecc77.png]: /ima

红太狼/ 2022年11月17日 03:23/ 0 赞/ 206 阅读

相关 mysql的binlog文件删除及从binlog恢复数据_从binlog恢复数据及Mysqlbinlog文件删除

用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件中的清单中被删除，这样被给定的日志成为第一个。例如： PURGE MA

水深无声/ 2022年10月25日 00:52/ 0 赞/ 159 阅读

相关基于Binlog的数据迁移

文章目录前言一、入Binlog实时采集 + 离线还原的解决方案二、使用步骤 1.Binlog 2.Canal 总结

朴灿烈づ我的快乐病毒、/ 2022年10月11日 12:11/ 0 赞/ 242 阅读

相关基于binlog恢复mysql数据库

找到对应时间的binlog文件 mysqlbinlog --no-defaults --base64-output=decode-rows -v -v /var/lib/my

墨蓝/ 2022年05月11日 00:08/ 0 赞/ 239 阅读

相关 gitlab数据完整迁移到新的服务器基于docker

1 创建备份文件 gitlab-rake gitlab:backup:create 使用以上命令会在/var/opt/gitlab/backups目录下创建一

怼烎@/ 2022年01月12日 10:13/ 0 赞/ 360 阅读

相关 hbase数据迁移：基于 hbase Snapshot

文章目录欢迎关注本人公众号初始环境说明表迁移手动flush刷新内存数据到磁盘创建快照数据迁移限

た入场券/ 2021年11月18日 01:31/ 0 赞/ 656 阅读

相关 mysql 基于binlog进行恢复

1.binlog 日志打开方法在my.cnf这个文件中加一行（Windows为my.ini）。 \vi /etc/my.cnf \[mysqld\] lo

系统管理员/ 2021年05月12日 11:50/ 0 赞/ 477 阅读