使用canal同步MySQL5.7到ES中小白配置教程

客官°小女子只卖身不卖艺 2024-05-02 20:04 8阅读 0赞

## 🚀 使用canal同步MySQL5.7到ES中小白配置教程 🚀 ##

#### 文章目录 ####

*  🚀 使用canal同步MySQL5.7到ES中小白配置教程 🚀
 *   *  \*\*摘要\*\*
     *  \*\*引言\*\*
     *  \*\*正文\*\*
     *   *  📘 第1章：了解Canal
         *   *  1.1 Canal简介
             *  1.2 Canal的工作原理
         *  📘 第2章：环境准备
         *   *  2.1 硬件与软件要求
             *  2.2 安装MySQL并配置
             *  2.3 安装Elasticsearch
         *  📘 第3章：Canal部署与配置
         *   *  3.1 下载并安装Canal
             *  3.2 配置Canal连接MySQL
             *  3.3 启动Canal服务
         *  📘 第4章：同步数据到Elasticsearch
         *   *  4.1 配置Canal适配
             *  4.2 启动Canal适配器
             *  4.3 验证数据同步
         *  📘 第5章：常见问题解答(QA)
         *  \*\*小结\*\*
     *  \*\*参考资料\*\*
     *  \*\*表格总结：核心知识点\*\*
     *  \*\*总结\*\*
     *  \*\*温馨提示\*\*

### **摘要** ###

在本篇博客中，我们将深入探讨如何使用Canal进行MySQL到Elasticsearch (ES) 的数据同步。本文将涵盖Canal的基本概念、安装过程、配置步骤以及具体的同步操作，旨在帮助开发者和数据工程师理解并实现实时数据处理。关键词包括：Canal介绍、MySQL同步、Elasticsearch配置、实时数据同步、Canal操作指南、数据同步问题解决。适合从技术新手到资深开发者阅读。

### **引言** ###

在数据密集型的应用场景中，保持数据的实时性和一致性是极其重要的。Canal是一个简单有效的中间件，用于数据库变更的增量订阅和消费，尤其是在MySQL与Elasticsearch的数据同步场景中表现优异。这篇博客将指导你如何从零开始，步步为营地配置Canal，实现MySQL数据实时同步到Elasticsearch。

### **正文** ###

#### 📘 第1章：了解Canal ####

![在这里插入图片描述][76afba217938483d94a51fa9c679a585.png]

##### 1.1 Canal简介 #####

Canal是阿里巴巴开源的一款基于数据库增量日志解析，提供数据变更订阅和发布服务的中间件，用以代替传统的数据库轮询、触发器等技术。通过模拟MySQL Slave的通信协议，将自己伪装成MySQL Slave，从MySQL Master那里读取binlog并解析，实现数据的增量更新传输。

##### 1.2 Canal的工作原理 #####

*  **日志解析**：Canal连接到MySQL数据库，模拟slave角色，实时解析binlog。
 *  **数据转发**：解析后的数据按照一定格式（如JSON）发送到配置的下游应用，比如Elasticsearch。

#### 📘 第2章：环境准备 ####

##### 2.1 硬件与软件要求 #####

*  **MySQL**：版本5.6及以上，开启binlog。
 *  **Java**：Java 8或以上，用于运行Canal。
 *  **Elasticsearch**：版本7.x及以上，用于数据存储和检索。

##### 2.2 安装MySQL并配置 #####

# 在Ubuntu上安装MySQL
    sudo apt-get update
    sudo apt-get install mysql-server
    # 开启MySQL的binlog
    sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
    # 确保以下配置正确
    [mysqld]
    log-bin=mysql-bin
    server-id=1

![在这里插入图片描述][c503778aede14f1b862fe24300ed8600.png]

本教程适用于MySQL 5.7版本。MySQL 5.7完全支持开启binlog日志，这是Canal进行数据同步所必需的。如果您使用的是MySQL 5.7，您可以按照以下步骤确保您的binlog已被正确配置，以便Canal能够捕捉到数据库的变更：

1.  **确认binlog配置**：登录到MySQL服务器，检查`my.cnf`（Linux系统）或`my.ini`（Windows系统）配置文件，确保以下设置：

[mysqld]
    # 启用binlog
    log-bin=mysql-bin
    # 设置MySQL服务器的ID，在复制环境中每个服务器应该有不同的ID
    server-id=1
    # binlog格式，推荐使用ROW模式
    binlog-format=ROW
    # 可选配置，根据需要开启GTID
    gtid_mode=ON
    enforce_gtid_consistency=ON

1.  **重启MySQL服务**：更改配置后，需要重启MySQL服务使设置生效。

sudo systemctl restart mysql

1.  **验证binlog是否启动**：

SHOW VARIABLES LIKE 'log_bin';

如果设置正确，上述命令应返回`log_bin = ON`。

1.  **检查binlog格式**：

SHOW VARIABLES LIKE 'binlog_format';

正确的返回应为`binlog_format = ROW`，这是Canal最优的工作模式。

确保这些配置正确无误后，您的MySQL 5.7服务器将准备好与Canal配合，实现数据的实时同步到Elasticsearch。

##### 2.3 安装Elasticsearch #####

# 使用Docker安装Elasticsearch
    docker pull docker.elastic.co/elasticsearch/elasticsearch:7.9.3
    docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.9.3

![在这里插入图片描述][1f2626ceffd34b4a86ee1a3b73d28530.png]

#### 📘 第3章：Canal部署与配置 ####

##### 3.1 下载并安装Canal #####

wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz
    tar zxvf canal.deployer-1.1.4.tar.gz
    cd canal.deployer-1.1.4/bin

##### 3.2 配置Canal连接MySQL #####

# 编辑conf/example/instance.properties
    canal.instance.master.address=127.0.0.1:3306
    canal.instance.dbUsername=canal
    canal.instance.dbPassword=canal_pass
    canal.instance.connectionCharset=UTF-8
    canal.instance.tsdb.enable=true
    canal.instance.gtidon=false

##### 3.3 启动Canal服务 #####

sh startup.sh

#### 📘 第4章：同步数据到Elasticsearch ####

##### 4.1 配置Canal适配 #####

器

*  编辑`conf/canal-adapter/application.yml`，设置Elasticsearch连接信息。

##### 4.2 启动Canal适配器 #####

sh bin/startup.sh

##### 4.3 验证数据同步 #####

*  使用Kibana或Elasticsearch的REST API验证数据是否成功同步。

#### 📘 第5章：常见问题解答(QA) ####

1.  **Q**: Canal连接MySQL时出错怎么办？  
    **A**: 检查MySQL的用户权限和网络设置。
2.  **Q**: 数据没有同步到Elasticsearch怎么办？  
    **A**: 检查Canal适配器的日志文件，确认配置无误。
3.  **Q**: 如何监控Canal的性能？  
    **A**: 使用Canal自带的监控页面或集成Prometheus监控。

#### **小结** ####

通过本文的步骤，你应该能够成功设置Canal，实现MySQL到Elasticsearch的数据同步。确保遵循每一步的详细说明，以避免常见的配置错误。

替代方案：[https://www.clougence.com/][https_www.clougence.com]

### **参考资料** ###

*  [Canal GitHub][]
 *  [Elasticsearch Documentation][]

### **表格总结：核心知识点** ###

<table> 
 <thead> 
  <tr> 
   <th>知识点</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Canal</td> 
   <td>MySQL变更日志解析工具</td> 
  </tr> 
  <tr> 
   <td>Elasticsearch</td> 
   <td>高扩展性的搜索与数据分析引擎</td> 
  </tr> 
  <tr> 
   <td>Data Sync</td> 
   <td>实时数据同步技术</td> 
  </tr> 
 </tbody> 
</table>

### **总结** ###

掌握Canal与Elasticsearch的整合应用，不仅可以优化数据处理流程，还能极大提升数据实时性和可靠性。未来展望中，随着技术的迭代，更多高效的同步方案将不断涌现。

![在这里插入图片描述][6ea39d40b5b241ff8ba303b8f75e975d.png]

### **温馨提示** ###

如果对本文有任何疑问，欢迎点击下方名片，了解更多详细信息！我们始终致力于为您提供最专业的技术指导和支持。

[76afba217938483d94a51fa9c679a585.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/02/79b3899b491a456e9bc6ba4a5f940478.png
[c503778aede14f1b862fe24300ed8600.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/02/d9392e2c0a45473fb8e81cafeacfc55b.png
[1f2626ceffd34b4a86ee1a3b73d28530.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/02/ed7ba647a22c4d969d4ade6735a56658.png
[https_www.clougence.com]: https://www.clougence.com/
[Canal GitHub]: https://github.com/alibaba/canal
[Elasticsearch Documentation]: https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
[6ea39d40b5b241ff8ba303b8f75e975d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/02/39c4cc46bdcd4868a690b02df4095e5d.png