Canal实现MySQL实时同步数据到ES
一、canal简介
canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。
二、canal工作原理
canal会模拟MySQL主库和从库的交互协议，从而伪装成MySQL的从库，然后向MySQL主库发送dump协议，MySQL主库收到dump请求会向canal推送binlog，canal通过解析binlog将数据同步到其他存储中去。
三、canal使用
- 首先我们需要下载canal的各个组件
canal-server、canal-adapter、canal-admin，下载地址：Releases · alibaba/canal · GitHub 
canal的各个组件的用途各不相同，下面分别介绍下：
- canal-server（canal-deploy）：可以直接监听MySQL的binlog，把自己伪装成MySQL的从库，只负责接收数据，并不做处理。
- canal-adapter：相当于canal的客户端，会从canal-server中获取数据，然后对数据进行同步，可以同步到MySQL、Elasticsearch和HBase等存储中去。
- canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。
- 由于不同版本的MySQL、Elasticsearch和canal会有兼容性问题，所以我们先对其使用版本做个约定。
MySQL配置
由于canal是通过订阅MySQL的binlog来实现数据同步的，所以我们需要开启MySQL的binlog写入功能，并设置binlog-format为ROW模式，我的配置文件为/mydata/mysql/conf/my.cnf，改为如下内容即可；
配置完成后需要重新启动MySQL，重启成功后通过如下命令查看binlog是否启用；
再查看下MySQL的binlog模式；
接下来需要创建一个拥有从库权限的账号，用于订阅binlog，这里创建的账号为canal:canal；
创建好测试用的数据库canal-test，之后创建一张商品表product，建表语句如下。
canal-server使用
将我们下载好的压缩包canal.deployer-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-server，可使用如下命令解压；
解压完成后目录结构如下；
修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改数据库相关配置；
使用startup.sh脚本启动canal-server服务；
启动成功后可使用如下命令查看服务日志信息；
启动成功后可使用如下命令查看instance日志信息；
如果想要停止canal-server服务可以使用如下命令。
canal-adapter使用
将我们下载好的压缩包canal.adapter-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-adpter，解压完成后目录结构如下；
修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、数据源配置和客户端适配器配置；
添加配置文件canal-adapter/conf/es7/product.yml，用于配置MySQL中的表与Elasticsearch中索引的映射关系；
使用startup.sh脚本启动canal-adapter服务；
启动成功后可使用如下命令查看服务日志信息；
如果需要停止canal-adapter服务可以使用如下命令。
数据同步演示
经过上面的一系列步骤，canal的数据同步功能已经基本可以使用了，下面我们来演示下数据同步功能。
首先我们需要在Elasticsearch中创建索引，和MySQL中的product表相对应，直接在Kibana的Dev Tools中使用如下命令创建即可；
创建完成后可以查看下索引的结构；
之后使用如下SQL语句在数据库中创建一条记录；
INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戏智能手机 6GB+64GB', 1999.00, NULL );
创建成功后，在Elasticsearch中搜索下，发现数据已经同步了；
GET canal_product/_search
再使用如下SQL对数据进行修改；
UPDATE product SET title='小米10' WHERE id=5
修改成功后，在Elasticsearch中搜索下，发现数据已经修改了；
canal-admin使用
将我们下载好的压缩包canal.admin-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-admin，解压完成后目录结构如下
创建canal-admin需要使用的数据库canal_manager，创建SQL脚本为/mydata/canal-admin/conf/canal_manager.sql，会创建如下表；
修改配置文件conf/application.yml，按如下配置即可，主要是修改数据源配置和canal-admin的管理账号配置，注意需要用一个有读写权限的数据库账号，比如管理账号root:root；
接下来对之前搭建的canal-server的conf/canal_local.properties文件进行配置，主要是修改canal-admin的配置，修改完成后使用sh bin/startup.sh local重启canal-server：
使用startup.sh脚本启动canal-admin服务；
sh bin/startup.sh
启动成功后可使用如下命令查看服务日志信息；
tail -f logs/admin.log
访问canal-admin的Web界面，输入账号密码admin:123456即可登录，访问地址：http://192.168.3.101:8089
登录成功后即可使用Web界面操作canal-server。
官方文档地址：
canal官方文档：https://github.com/alibaba/canal/wiki
配置文件地址
https://github.com/macrozheng/mall-learning/tree/master/document/canal-config
叁歲伎倆
左手的ㄟ右手
向右看齐
深藏阁楼爱情的钟
àì夳堔傛蜴生んèń
还没有评论，来说两句吧...