Canal安装部署

妖狐艹你老母 2022-12-06 05:43 338阅读 0赞

目录

  • 配置Mysql
  • 安装 canal 和启动
  • Canal HA服务器配置
    • 客户端HA模式配置

配置Mysql

  • 步骤 1: 赋权限(可以省略, 后面都是使用的root用户)

    GRANT ALL PRIVILEGES ON . TO canal@’%’ IDENTIFIED BY ‘canal’;

  • 步骤 2: 开启 binlog
    打开文件/etc/my.cnf, 如果没有就创建一个
    添加如下配置:

    [mysqld]
    server-id= 1
    log-bin= mysql-bin
    binlog_format= row

  • 步骤 3: 重启 mysql 使 binlog 生效

    service mysql restart

进入 mysql

  1. show variables like 'log_%';

在这里插入图片描述
在这里插入图片描述

安装 canal 和启动

  • 步骤 1: 下载 Canal

    wget https://github.com/alibaba/canal/releases/download/canal-1.1.2/canal.deployer-1.1.2.tar.gz

或者去github下载
https://github.com/alibaba/canal/releases

  • 步骤 2: 解压

    mkdir /export/servers/canal
    tar -zxvf canal.deployer-1.1.2.tar.gz -C /export/servers/canal

1.conf/canal.properties canal 的通用配置, 主要关注下canal.port, 默认是11111
在这里插入图片描述

  1. conf/example/instance.properties instance.properties是针对要追踪的 mysql 的实例配置
    watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3
    在这里插入图片描述

    • 步骤 3: 启动 canal

      bin/startup.sh

在这里插入图片描述

  • 步骤 4: 查看日志
    在这里插入图片描述
  • 步骤 5: 关闭 Canal

    bin/stop.sh

Canal HA服务器配置

按照部署和配置,在单台机器上各自完成配置,演示时instance name为example
修改canal.properties,加上zookeeper配置

  1. canal.zkServers=hadoop102:2181,hadoop103,hadoop104
  2. canal.instance.global.spring.xml = classpath:spring/default-instance.xml

创建example目录,并修改instance.properties

  1. canal.instance.mysql.slaveId = 1234 ##另外一台机器改成1235,保证slaveId不重复即可
  2. canal.instance.master.address = hadoop102:3306

注意: 两台机器上的instance目录的名字需要保证完全一致,HA模式是依赖于instance name进行管理,同时必须都选择default-instance.xml配置
启动两台机器的canal

  1. -------
  2. ssh hadoop102
  3. sh bin/startup.sh
  4. --------
  5. ssh hadoop103
  6. sh bin/startup.sh

可以看运行的机器

  1. [zk: localhost:2181(CONNECTED) 6] ls /otter/canal/cluster
  2. [192.168.121.140:11111, 192.168.121.141:11111, 192.168.121.142:11111]

也可以看谁是主节点

  1. [zk: localhost:2181(CONNECTED) 0] get /otter/canal/destinations/example/running
  2. { "active":true,"address":"192.168.121.141:11111","cid":1}

客户端HA模式配置

直接取若干个Canal客户端,如果同时启动,只有一个客户端能从Canal服务器端获取到binlog消息,其他客户端不能拉取到binlog消息。
从运行配置中,复制一个同样的配置。然后启动运行。
在这里插入图片描述

发表评论

表情:
评论列表 (有 0 条评论,338人围观)

还没有评论,来说两句吧...

相关阅读

    相关 canal简介及安装部署

    canal简介 一、什么是 Canal 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,从2010

    相关 canal安装

    介绍 canal基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql。可以通过canal实现基于日志增量订阅&消费支持的业务: 1. 数据库镜像