TiDB亿级数据亚秒响应查询将MySql数据同步到TiDB

「爱情、让人受尽委屈。」 2024-03-16 16:10 30阅读 0赞

#### 目录 ####

*  1 MySQL环境准备
 *   *  1.1 MySQL测试数据库
     *   *  1.1.1 导入数据
         *  1.1.2 验证是否成功
 *  2 DM数据迁移
 *   *  2.1 TiUP DM 组件简介
     *   *  2.1.1 基本功能
         *  2.1.2 使用限制
     *  2.2 TiUP安装 DM组件
     *   *  2.2.1 安装TiUP DM 组件
         *  2.2.2 更新 TiUP DM 组件
     *  2.3 TiUP部署 DM组件
     *   *  2.3.1 编辑初始化配置
         *  2.3.2 部署命令格式
         *  2.3.3 检查最新版本DM组件
         *  2.3.4 执行部署命令
         *  2.3.5 TiUP 查看集群情况
         *  2.3.6 检查部署的 DM 集群
         *  2.3.7 启动集群
         *  2.3.8 验证集群运行状态
     *  2.4 安装dmctl 运维组件
     *   *  2.4.1 检查dmctl最新版本
         *  2.4.2 安装dmctl组件
     *  2.5 使用 DM 迁移数据
     *   *  2.4.1 需要的权限
         *  2.4.2 MySQL服务授权
         *  2.4.3 打开mysql的binlog
         *  2.4.4 MySQL检查
         *  2.4.5 加密数据库密码
         *  2.4.6 检查集群信息
         *  2.4.7 创建数据源
         *  2.4.8 MySql数据源加入到DM集群
         *  2.4.9 配置任务
         *  2.4.10 MySQL 实例配置前置检查
         *  2.4.11 开启任务
         *  2.4.12 查询任务
         *  2.4.13 查询迁移详情
     *  2.5 检查全量同步
     *   *  2.5.1 登录TIDB
         *  2.5.2 查看employees数据库
     *  2.6 测试增量同步
     *   *  2.6.1 插入MySQL数据
         *  2.6.2 更新MySQL数据
         *  2.6.3 查看DM的任务状态
         *  2.6.4 检查增量同步数据
     *  2.7 DM的其他操作
     *   *  2.7.1 暂停数据迁移任务
         *  2.7.2 恢复数据迁移任务
         *  2.7.3 停止数据迁移任务

--------------------

## 1 MySQL环境准备 ##

![在这里插入图片描述][ad83ce7259bf46a2986ccf895b07cd6f.png]

### 1.1 MySQL测试数据库 ###

> Mysql 官方提供了了一套名为：Employees Sample Database 的测试库（该测试库含有6个表，总计4百万数据记录）

表结构

![在这里插入图片描述][1b15efb2628c444aa958dce2e50e9423.png]

![在这里插入图片描述][2a3e440077b743eea682bcd8db2325f3.png]

#### 1.1.1 导入数据 ####

> 下载后解压 `test_db-master.zip`，然后登录 mysql 导入即可

[mysqld]
    ##bin-log settings##
    #show variables like 'log_%';
    log_bin=mysql-bin
    server_id=1
    binlog_format=ROW
    
    # 创建MySQL数据库
    [root@linux30 tidb]# docker run --name mysql-tidb -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /opt/tidb/mysql:/opt -v /opt/tidb/etc/mysql:/etc/mysql  mysql:5.7.38
    b59ff5c7a4836a2f13c4863842fa73a87c2980efa5537c06c0946d35d47dc392
    [root@linux30 tidb]# docker ps
    CONTAINER ID   IMAGE          COMMAND                  CREATED         STATUS         PORTS                                                  NAMES
    b59ff5c7a483   mysql:8.0.22   "docker-entrypoint.s…"   3 seconds ago   Up 2 seconds   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp   mysql-tidb
    [root@linux30 tidb]# docker exec -it mysql-tidb bash
    root@b59ff5c7a483:/# cd /opt/test_db-master/ && ls
    Changelog                      images                  load_salaries1.dump  sakila                  test_versions.sh
    README.md                      load_departments.dump   load_salaries2.dump  show_elapsed.sql
    employees.sql                  load_dept_emp.dump      load_salaries3.dump  sql_test.sh
    employees_partitioned.sql      load_dept_manager.dump  load_titles.dump     test_employees_md5.sql
    employees_partitioned_5.1.sql  load_employees.dump     objects.sql          test_employees_sha.sql
    root@b59ff5c7a483:/opt/test_db-master# mysql -uroot -p123456 < employees.sql

![在这里插入图片描述][62802b1b270f41658b2ef52dab9c1e80.png]

#### 1.1.2 验证是否成功 ####

root@b59ff5c7a483:/opt/test_db-master# mysql -uroot -p123456 < test_employees_md5.sql

![在这里插入图片描述][ac7c1b065ac84706b424f30c9f1e35d0.png]

## 2 DM数据迁移 ##

### 2.1 TiUP DM 组件简介 ###

TiDB Data Migration (DM) 是一体化的数据迁移任务管理工具，支持从与 MySQL 协议兼容的数据库（MySQL、MariaDB、Aurora MySQL）到 TiDB 的数据迁移，DM 工具旨在降低数据迁移的运维成本。

#### 2.1.1 基本功能 ####

![在这里插入图片描述][7a48ee6868634ad4a077bcc76c4d702d.png]

**Block & allow lists**

> 上游数据库实例表的黑白名单过滤规则，可以用来过滤或者只迁移某些 `database/table` 的所有操作。

Block & Allow Lists 的过滤规则类似于 MySQL `replication-rules-db`/`replication-rules-table`，用于过滤或指定只迁移某些数据库或某些表的所有操作。

block-allow-list:             # 如果 DM 版本 <= v2.0.0-beta.2 则使用 black-white-list。
      rule-1:
        do-dbs: ["test*"]         # 非 ~ 字符开头，表示规则是通配符；v1.0.5 及后续版本支持通配符规则。
         do-tables:
        - db-name: "test[123]"    # 匹配 test1、test2、test3。
          tbl-name: "t[1-5]"      # 匹配 t1、t2、t3、t4、t5。
        - db-name: "test"
          tbl-name: "t"
      rule-2:
        do-dbs: ["~^test.*"]      # 以 ~ 字符开头，表示规则是正则表达式。
         ignore-dbs: ["mysql"]
        do-tables:
        - db-name: "~^test.*"
          tbl-name: "~^t.*"
        - db-name: "test"
          tbl-name: "t"
        ignore-tables:
        - db-name: "test"
          tbl-name: "log"

*  `do-dbs`：要迁移的库的白名单，类似于 MySQL 中的 `replicate-do-db`。
 *  `ignore-dbs`：要迁移的库的黑名单，类似于 MySQL 中的 `replicate-ignore-db`。
 *  `do-tables`：要迁移的表的白名单，类似于 MySQL 中的 `replicate-do-table`。
 *  `ignore-tables`：要迁移的表的黑名单，类似于 MySQL 中的 `replicate-ignore-table`。

> 以上参数值以 `~` 开头时均支持使用正则表达式来匹配库名、表名。

**Binlog event filter**

> Binlog event filter 是比迁移表黑白名单更加细粒度的过滤规则，可以指定只迁移或者过滤掉某些 `schema / table` 的指定类型 binlog，比如 `INSERT`、`TRUNCATE TABLE`。

Binlog Event Filter 用于过滤源数据库中特定表的特定类型操作，比如过滤掉表 `test`.`sbtest` 的 `INSERT` 操作或者过滤掉库 `test` 下所有表的 `TRUNCATE TABLE` 操作。

filters:
      rule-1:
        schema-pattern: "test_*"
          table-pattern: "t_*"
          events: ["truncate table", "drop table"]
          sql-pattern: ["^DROP\\s+PROCEDURE", "^CREATE\\s+PROCEDURE"]
          action: Ignore

*  `schema-pattern`/`table-pattern`：对匹配上的上游 MySQL/MariaDB 实例的表的 binlog events 或者 DDL SQL 语句通过以下规则进行过滤。
 *  `events`：binlog events 数组，仅支持从以下 `Event` 中选择一项或多项。
    
    <table> 
     <thead> 
      <tr> 
       <th align="left">Event</th> 
       <th align="left">分类</th> 
       <th align="left">解释</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td align="left">all</td> 
       <td align="left"></td> 
       <td align="left">代表包含下面所有的 events</td> 
      </tr> 
      <tr> 
       <td align="left">all dml</td> 
       <td align="left"></td> 
       <td align="left">代表包含下面所有 DML events</td> 
      </tr> 
      <tr> 
       <td align="left">all ddl</td> 
       <td align="left"></td> 
       <td align="left">代表包含下面所有 DDL events</td> 
      </tr> 
      <tr> 
       <td align="left">none</td> 
       <td align="left"></td> 
       <td align="left">代表不包含下面所有 events</td> 
      </tr> 
      <tr> 
       <td align="left">none ddl</td> 
       <td align="left"></td> 
       <td align="left">代表不包含下面所有 DDL events</td> 
      </tr> 
      <tr> 
       <td align="left">none dml</td> 
       <td align="left"></td> 
       <td align="left">代表不包含下面所有 DML events</td> 
      </tr> 
      <tr> 
       <td align="left">insert</td> 
       <td align="left">DML</td> 
       <td align="left">insert DML event</td> 
      </tr> 
      <tr> 
       <td align="left">update</td> 
       <td align="left">DML</td> 
       <td align="left">update DML event</td> 
      </tr> 
      <tr> 
       <td align="left">delete</td> 
       <td align="left">DML</td> 
       <td align="left">delete DML event</td> 
      </tr> 
      <tr> 
       <td align="left">create database</td> 
       <td align="left">DDL</td> 
       <td align="left">create database event</td> 
      </tr> 
      <tr> 
       <td align="left">drop database</td> 
       <td align="left">DDL</td> 
       <td align="left">drop database event</td> 
      </tr> 
      <tr> 
       <td align="left">create table</td> 
       <td align="left">DDL</td> 
       <td align="left">create table event</td> 
      </tr> 
      <tr> 
       <td align="left">create index</td> 
       <td align="left">DDL</td> 
       <td align="left">create index event</td> 
      </tr> 
      <tr> 
       <td align="left">drop table</td> 
       <td align="left">DDL</td> 
       <td align="left">drop table event</td> 
      </tr> 
      <tr> 
       <td align="left">truncate table</td> 
       <td align="left">DDL</td> 
       <td align="left">truncate table event</td> 
      </tr> 
      <tr> 
       <td align="left">rename table</td> 
       <td align="left">DDL</td> 
       <td align="left">rename table event</td> 
      </tr> 
      <tr> 
       <td align="left">drop index</td> 
       <td align="left">DDL</td> 
       <td align="left">drop index event</td> 
      </tr> 
      <tr> 
       <td align="left">alter table</td> 
       <td align="left">DDL</td> 
       <td align="left">alter table event</td> 
      </tr> 
     </tbody> 
    </table>
 *  `sql-pattern`：用于过滤指定的 DDL SQL 语句，支持正则表达式匹配，例如上面示例中的 `"^DROP\\s+PROCEDURE"`。

**Table routing**

> Table routing 提供将上游 MySQL/MariaDB 实例的某些表迁移到下游指定表的功能。

Table Routing 是将源数据库的表迁移到下游指定表的路由功能，比如将源数据表 `test`.`sbtest1` 的数据同步到 TiDB 的表 `test`.`sbtest2`。它也是分库分表合并迁移所需的一个核心功能。

routes:
      rule-1:
        schema-pattern: "test_*"
        table-pattern: "t_*"
        target-schema: "test"
        target-table: "t"
      rule-2:
        schema-pattern: "test_*"
        target-schema: "test"

#### 2.1.2 使用限制 ####

**数据库版本**

*  5.5 < MySQL 版本 < 8.0
 *  MariaDB 版本 >= 10.1.2

**DDL 语法兼容性**

*  目前，TiDB 部分兼容 MySQL 支持的 DDL 语句。因为 DM 使用 TiDB parser 来解析处理 DDL 语句，所以目前仅支持 TiDB parser 支持的 DDL 语法
 *  DM 遇到不兼容的 DDL 语句时会报错。要解决此报错，需要使用 dmctl 手动处理，要么跳过该 DDL 语句，要么用指定的 DDL 语句来替换它

### 2.2 TiUP安装 DM组件 ###

#### 2.2.1 安装TiUP DM 组件 ####

[root@linux30 tidb]# tiup install dm

#### 2.2.2 更新 TiUP DM 组件 ####

> 如果已经安装，则更新 TiUP DM 组件至最新版本：

[root@linux30 tidb]# tiup update --self && tiup update dm

> 预期输出 `Update successfully!` 字样。

![在这里插入图片描述][c8fc1f4303744873974b8b2d68a9750c.png]

### 2.3 TiUP部署 DM组件 ###

![在这里插入图片描述][8012d61b41424da0b4ae972e0f73c74a.png]

#### 2.3.1 编辑初始化配置 ####

> 需要根据不同的集群拓扑，编辑 TiUP 所需的集群初始化配置文件。
> 
> 新建一个配置文件 `topology.yaml`，部署 1 个 DM-master、1个 DM-worker 的配置如下

[root@linux30 tidb]# vi topology.yaml
    
    global:
      user: "tidb"
      ssh_port: 22
      deploy_dir: "/opt/tidb/tidb-deploy/dm"
      data_dir: "/opt/tidb/tidb-data/dm"
      # arch: "amd64"
    
    master_servers:
      - host: 192.168.10.30
    
    worker_servers:
      - host: 192.168.10.30

> 注意：

*  如果不需要确保 DM 集群高可用，则可只部署 1 个 DM-master 节点，且部署的 DM-worker 节点数量不少于上游待迁移的 MySQL/MariaDB 实例数。
 *  如果需要确保 DM 集群高可用，则推荐部署 3 个 DM-master 节点，且部署的 DM-worker 节点数量大于上游待迁移的 MySQL/MariaDB 实例数（如 DM-worker 节点数量比上游实例数多 2 个）。

#### 2.3.2 部署命令格式 ####

> 通过 TiUP 进行集群部署可以使用密钥或者交互密码方式来进行安全认证：

*  如果是密钥方式，可以通过 `-i` 或者 `--identity_file` 来指定密钥的路径；
 *  如果是密码方式，可以通过 `-p` 进入密码交互窗口；
 *  如果已经配置免密登录目标机，则不需填写认证。

tiup dm deploy dm-test ${version} ./topology.yaml --user root [-p] [-i /home/root/.ssh/gcp_rsa]

> 以上部署命令中：

*  通过 TiUP DM 部署的集群名称为 `dm-test`。
 *  `--user root`：通过 root 用户登录到目标主机完成集群部署，该用户需要有 ssh 到目标机器的权限，并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。
 *  `-i` 及 `-p`：非必选项，如果已经配置免密登录目标机，则不需填写，否则选择其一即可。`-i` 为可登录到目标机的 root 用户（或 `--user` 指定的其他用户）的私钥，也可使用 `-p` 交互式输入该用户的密码。

> 预期日志结尾输出会有 `Deployed cluster`dm-test`successfully` 关键词，表示部署成功。

#### 2.3.3 检查最新版本DM组件 ####

> 部署版本为 `${version}`，可以通过执行 `tiup list dm-master` 来查看 TiUP 支持的最新版本

[root@linux30 tidb]# tiup list dm-master

![在这里插入图片描述][07ef6b96a44a4e558c24eb552d14d3c1.png]

我们发现有个版本是`v5.3.0`

#### 2.3.4 执行部署命令 ####

[root@linux30 tidb]# tiup dm deploy dm-test 5.3.0 ./topology.yaml --user root -p

> 出现如下界面，选择y继续，输入密码后继续安装

![在这里插入图片描述][8da8b14b90b943ddaec54dc603faad71.png]

> 继续安装后，安装完成后输出`deployed successfully`代表安装完成

![在这里插入图片描述][154564cd9c3644d6ace5aaa8d77f5f67.png]

#### 2.3.5 TiUP 查看集群情况 ####

> TiUP 支持管理多个 DM 集群，该命令会输出当前通过 TiUP DM 管理的所有集群信息，包括集群名称、部署用户、版本、密钥信息等

[root@linux30 tidb]# tiup dm list

![在这里插入图片描述][84f4d1a12927479ca499ccbb968acd9d.png]

#### 2.3.6 检查部署的 DM 集群 ####

> 执行如下命令检查 `dm-test` 集群情况

[root@linux30 tidb]# tiup dm display dm-test

![在这里插入图片描述][e2601f9919704db4b1d952656006c80e.png]

预期输出包括 `dm-test` 集群中实例 ID、角色、主机、监听端口和状态（由于还未启动，所以状态为 Down/inactive）、目录信息。

#### 2.3.7 启动集群 ####

> 预期结果输出 `Started cluster`dm-test`successfully` 表示启动成功。

[root@linux30 tidb]# tiup dm start dm-test

![在这里插入图片描述][f85cecfb98d24a81a761aba00de5bc94.png]

#### 2.3.8 验证集群运行状态 ####

> 在输出结果中，如果 Status 状态信息为 `Up`，说明集群状态正常。

[root@linux30 tidb]# tiup dm display dm-test

![在这里插入图片描述][2f7f72e3cb7548a69dcc24e52bfe4621.png]

### 2.4 安装dmctl 运维组件 ###

> dmctl 是用来运维 DM 集群的命令行工具，支持交互模式和命令模式。

#### 2.4.1 检查dmctl最新版本 ####

> 通过如下命令可用查看`dmctl`版本列表

[root@linux30 tidb]# tiup list dmctl

> 我们发现一个版本是 `v5.3.0`

![在这里插入图片描述][ce9b7777545e4f72a2b04bb35718588c.png]

#### 2.4.2 安装dmctl组件 ####

> 通过如下命令可用安装dmctl组件，冒号后面是需要安装的版本号

[root@linux30 tidb]# tiup install dmctl:v5.3.0

![在这里插入图片描述][d51da5784129400ab0992150bd496f31.png]

### 2.5 使用 DM 迁移数据 ###

#### 2.4.1 需要的权限 ####

*  SELECT
 *  RELOAD
 *  LOCK TABLES
 *  REPLICATION CLIENT
 *  REPLICATION SLAVE

#### 2.4.2 MySQL服务授权 ####

#创建tidb用户密码是 tidb并授权外部所以IP可以访问
    mysql> CREATE USER 'tidb'@'%' IDENTIFIED BY 'tidb';
    Query OK, 0 rows affected (0.02 sec)
    # 授权SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT 权限给tidb用户
    mysql> GRANT SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE ON *.* TO 'tidb'@'%';
    Query OK, 0 rows affected (0.01 sec)
    # 刷新数据库
    mysql> FLUSH PRIVILEGES;
    Query OK, 0 rows affected (0.01 sec)

#### 2.4.3 打开mysql的binlog ####

> 因为DM同步需要MySQL开启binlog日志,修改my.cnf配置文件，并重启

[mysqld]
    ##bin-log settings##
    #show variables like 'log_%';
    log_bin=mysql-bin
    server_id=1
    binlog_format=ROW

#### 2.4.4 MySQL检查 ####

x
    SHOW VARIABLES LIKE '%server_id%';
    show variables like 'log_bin%';
    show variables like 'binlog_format';

![在这里插入图片描述][71bb817a8718431d8bbbe52bc05ae908.png]

#### 2.4.5 加密数据库密码 ####

> 在 DM 相关配置文件中，推荐使用经 dmctl 加密后的密码，对于同一个原始密码，每次加密后密码不同。

[root@linux30 tidb]# tiup dmctl -encrypt 'tidb'

![在这里插入图片描述][59267d63a3344403bea8aea3b9fb0851.png]

> 加密后的密码是：`l5nO6geu58/BjrOOZpAtAkAjsn/q`

#### 2.4.6 检查集群信息 ####

> 使用 TiUP 部署 DM 集群后，相关配置信息如下：

![在这里插入图片描述][0fd5ad2561244bd29a429251bec44985.png]

*  DM 集群相关组件配置信息

<table> 
 <thead> 
  <tr> 
   <th align="left">组件</th> 
   <th align="left">主机</th> 
   <th align="left">端口</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">dm_worker</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">8262</td> 
  </tr> 
  <tr> 
   <td align="left">dm_master</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">8261</td> 
  </tr> 
 </tbody> 
</table>

*  上下游数据库实例相关信息

<table> 
 <thead> 
  <tr> 
   <th align="left">数据库实例</th> 
   <th align="left">主机</th> 
   <th align="left">端口</th> 
   <th align="left">用户名</th> 
   <th align="left">加密密码</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">上游 MySQL</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">3306</td> 
   <td align="left">tidb</td> 
   <td align="left"><code>l5nO6geu58/BjrOOZpAtAkAjsn/q</code></td> 
  </tr> 
  <tr> 
   <td align="left">下游 TiDB</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">4000</td> 
   <td align="left">root</td> 
   <td align="left"></td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][c4b823d0aa0a4480b72270a573c34819.png]

#### 2.4.7 创建数据源 ####

> 将 MySQL 的相关信息写入到 `mysql.yaml` 中

[root@linux30 tidb]# vi mysql.yaml
    
    # MySQL1 Configuration.
    
    source-id: "mysql-replica"
    
    # DM-worker 是否使用全局事务标识符 (GTID) 拉取 binlog。使用前提是在上游 MySQL 已开启 GTID 模式。
    enable-gtid: false
    
    from:
      host: "192.168.10.30"
      user: "tidb"
      password: "l5nO6geu58/BjrOOZpAtAkAjsn/q"
      port: 3306

#### 2.4.8 MySql数据源加入到DM集群 ####

> 在终端中执行下面的命令，使用 `tiup dmctl` 将 MySQL 的数据源配置加载到 DM 集群中：

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 operate-source create mysql.yaml

> 出现如下界面返回`true`表示添加到集群成功

![在这里插入图片描述][818d34beaaee4493ac966d71351c9254.png]

#### 2.4.9 配置任务 ####

> 假设需要将 MySQL实例的 `employees` 库的 所有 表以**全量+增量**的模式迁移到下游 TiDB 的 `employees` 库 编辑任务配置文件 `sync_task.yaml`

[root@linux30 tidb]# vi sync_task.yaml
    
    # 任务名，多个同时运行的任务不能重名。
    name: "tidb_sync"
    # 全量+增量 (all) 迁移模式。
    task-mode: "all"
    # 下游 TiDB 配置信息。
    target-database:
      host: "192.168.10.30"
      port: 4000
      user: "root"
      password: ""
    
    # 黑白名单全局配置，各实例通过配置项名引用。
    #block-allow-list:                     # 如果 DM 版本 <= v2.0.0-beta.2 则使用 black-white-list。
    #  global:
    #    do-tables:                        # 需要迁移的上游表的白名单。
    #    - db-name: "test_db"              # 需要迁移的表的库名。
    #      tbl-name: "test_table"          # 需要迁移的表的名称。
    
    block-allow-list:
      ba-rule1:
        do-dbs: ["employees"]
    
    # 当前数据迁移任务需要的全部上游 MySQL 实例配置。
    mysql-instances:
    # 上游实例或者复制组 ID，参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
      - source-id: "mysql-replica"
    # 需要迁移的库名或表名的黑白名单的配置项名称，用于引用全局的黑白名单配置，全局配置见下面的 `block-allow-list` 的配置。
        block-allow-list:  "ba-rule1"

#### 2.4.10 MySQL 实例配置前置检查 ####

> 为了提前发现数据迁移任务的一些配置错误，DM 中增加了前置检查功能：
> 
>  *  启动数据迁移任务时，DM 自动检查相应的权限和配置。
>  *  `check-task` 命令用于对上游 MySQL 实例配置是否满足 DM 要求进行前置检查。

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 check-task sync_task.yaml

> 如果出现返回结果是true表示检查成功

![在这里插入图片描述][335cfdab721543d78c08e0b8e996a747.png]

#### 2.4.11 开启任务 ####

> 使用 `tiup dmctl` 执行以下命令启动数据迁移任务。其中，`sync_task.yaml` 是之前编辑的配置文件。

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 start-task sync_task.yaml

> 返回结果为true表示启动成功

![在这里插入图片描述][6a253958f4c84df3ad4e98617d51613b.png]

#### 2.4.12 查询任务 ####

> 如需了解 DM 集群中是否存在正在运行的迁移任务及任务状态等信息，可使用 `tiup dmctl` 执行以下命令进行查询：

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 query-status

> `query-status` 命令的查询结果、任务状态与子任务状态

![在这里插入图片描述][f3b4b8c7566c42fdb538471ed5e4c149.png]

#### 2.4.13 查询迁移详情 ####

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 query-status tidb_sync

> 任务详情如下

![在这里插入图片描述][3b6bf4d18bb740cfbf81b23da0d5f416.png]

> 同步文本详情如下

{
        
        "result": true,      # 查询是否成功
        "msg": "",           # 查询失败原因描述 
        "sources": [         # 上游 MySQL 列表
            {
        
                "result": true,
                "msg": "",
                "sourceStatus": {
                    # 上游 MySQL 的信息
                    "source": "mysql-replica",
                    "worker": "dm-192.168.64.152-8262",
                    "result": null,
                    "relayStatus": null
                },
                "subTaskStatus": [                      # 上游 MySQL 所有子任务的信息
                    {
        
                        "name": "tidb_sync",            # 子任务名称
                        "stage": "Running",             # 子任务运行状态，包括 “New”，“Running”，“Paused”，“Stopped” 以及 “Finished”
                        "unit": "Sync",                 # DM 的处理单元，包括 “Check”，“Dump“，“Load” 以及 “Sync”
                        "result": null,                 # 子任务失败时显示错误信息
                        "unresolvedDDLLockID": "",      # sharding DDL lock ID，可用于异常情况下手动处理 sharding DDL lock
                        "sync": {
                               # 当前 `Sync` 处理单元的迁移信息
                            "totalEvents": "0",         # 该子任务中迁移的 binlog event 总数
                            "totalTps": "0",            # 该子任务中每秒迁移的 binlog event 数量
                            "recentTps": "0",           # 该子任务中最后一秒迁移的 binlog event 数量
                            "masterBinlog": "(mysql-bin.000001, 154)",  # 上游数据库当前的 binlog position
                            "masterBinlogGtid": "",                     # 上游数据库当前的 GTID 信息
                            "syncerBinlog": "(mysql-bin.000001, 154)",  # 已被 `Sync` 处理单元迁移的 binlog position
                            "syncerBinlogGtid": "",                     # 使用 GTID 迁移的 binlog position
                            "blockingDDLs": [           # 当前被阻塞的 DDL 列表。该项仅在当前 DM-worker 所有上游表都处于 “synced“ 状态时才有数值，此时该列表包含的是待执行或待跳过的 sharding DDL 语句
                            ],
                            "unresolvedGroups": [       # 没有被解决的 sharding group 信息
                            ],
                            "synced": true,             # 增量复制是否已追上上游。由于后台 `Sync` 单元并不会实时刷新保存点，当前值为 “false“ 并不一定代表发生了迁移延迟
                            "binlogType": "remote"  
                        }
                    }
                ]
            }
        ]
    }

### 2.5 检查全量同步 ###

#### 2.5.1 登录TIDB ####

> 登录TiDB 查看数据库是否同步

[root@linux30 tidb]# mysql -uroot -p -P 4000 -h 192.168.10.30

![在这里插入图片描述][d0257a002c6c4011bbe153c46b70fc36.png]

#### 2.5.2 查看employees数据库 ####

show databases;
    use employees;
    show tables;

> 我们发现数据库已经同步

![在这里插入图片描述][7bd1e7c18fd945c09a72322911d866df.png]

### 2.6 测试增量同步 ###

#### 2.6.1 插入MySQL数据 ####

> 部门表插入一条数据

mysql> INSERT INTO employees.`departments`(dept_no,dept_name)VALUES('d010','test dept');
    Query OK, 1 row affected (0.01 sec)

#### 2.6.2 更新MySQL数据 ####

> 将`dept_emp`中的`d001`改为`d010`

UPDATE employees.dept_emp SET dept_no='d010' WHERE dept_no='d001';

> 共 20211 行受到影响

![在这里插入图片描述][0e328ac283384a51ae4c1365259c2a1c.png]

#### 2.6.3 查看DM的任务状态 ####

[root@linux30 tidb]# tiup dmctl --master-addr 192.168.10.30:8261 query-status tidb_sync

> “synced”: false正在同步

![在这里插入图片描述][181ef860dc5b48199f7512ad9c071b75.png]

> 稍等后在进行查看任务状态，发现已经同步完成

![在这里插入图片描述][002906ce51434257bb5de922aed1faa2.png]

#### 2.6.4 检查增量同步数据 ####

> 登录MySQL后检查MySQL中的数据是否同步到TiDB

[root@linux30 tidb]# mysql -uroot -p -P 4000 -h 192.168.10.30
    MySQL [employees]> use employees;
    MySQL [employees]> SELECT COUNT(1) FROM dept_emp WHERE dept_no='d010';
    +----------+
    | COUNT(1) |
    +----------+
    |    20211 |
    +----------+
    1 row in set (0.01 sec)

> 我们发现`d010`的更新数据都已经同步过来了

### 2.7 DM的其他操作 ###

#### 2.7.1 暂停数据迁移任务 ####

> `pause-task` 命令用于暂停数据迁移任务。
> 
> 有关 `pause-task` 与 `stop-task` 的区别如下

*  使用 `pause-task` 仅暂停迁移任务的执行，但仍然会在内存中保留任务的状态信息等，且可通过 `query-status` 进行查询；使用 `stop-task` 会停止迁移任务的执行，并移除内存中与该任务相关的信息，且不可再通过 `query-status` 进行查询，但不会移除已经写入到下游数据库中的数据以及其中的 checkpoint 等 `dm_meta` 信息。
 *  使用 `pause-task` 暂停迁移任务期间，由于任务本身仍然存在，因此不能再启动同名的新任务，且会阻止对该任务所需 relay log 的清理；使用 `stop-task` 停止任务后，由于任务不再存在，因此可以再启动同名的新任务，且不会阻止对 relay log 的清理。
 *  `pause-task` 一般用于临时暂停迁移任务以排查问题等；`stop-task` 一般用于永久删除迁移任务或通过与 `start-task` 配合以更新配置信息。

tiup dmctl --master-addr 192.168.64.152:8261 pause-task tidb_sync

![在这里插入图片描述][df4b2542aa404619b96ede2628fcf2d6.png]

#### 2.7.2 恢复数据迁移任务 ####

> `resume-task` 命令用于恢复处于 `Paused` 状态的数据迁移任务，通常用于在人为处理完造成迁移任务暂停的故障后手动恢复迁移任务。

tiup dmctl --master-addr 192.168.64.152:8261 resume-task tidb_sync

![在这里插入图片描述][57b7ef27f8af443d82310ea1df259433.png]

#### 2.7.3 停止数据迁移任务 ####

> `stop-task` 命令用于停止数据迁移任务

tiup dmctl --master-addr 192.168.64.152:8261 stop-task tidb_sync

![在这里插入图片描述][14980a83e9374c35953ef745838f533c.png]

[ad83ce7259bf46a2986ccf895b07cd6f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9e6b4103f7e2401d84a9539a35b09943.png
[1b15efb2628c444aa958dce2e50e9423.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9400022c35ed4998b374564c3269f478.png
[2a3e440077b743eea682bcd8db2325f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/97054980c0c2453e9af3214898d47772.png
[62802b1b270f41658b2ef52dab9c1e80.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cf292978294d42a3af497efbf3f79c9f.png
[ac7c1b065ac84706b424f30c9f1e35d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8521b810a8b64fbd8bdf74f482c2bd14.png
[7a48ee6868634ad4a077bcc76c4d702d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/182acbd1dd13472191ca20c6c68eaf56.png
[c8fc1f4303744873974b8b2d68a9750c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3929aa90d385438c98bda1468ed0bd15.png
[8012d61b41424da0b4ae972e0f73c74a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f77cf99052564cdc8a3ca89281a78c57.png
[07ef6b96a44a4e558c24eb552d14d3c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c5fadb994a8640a9aeecfdab4205a3be.png
[8da8b14b90b943ddaec54dc603faad71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9eaa8321da4a4bb5a2140b49929c3dd2.png
[154564cd9c3644d6ace5aaa8d77f5f67.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c84db1e26b50492f95a31cd4b891eefc.png
[84f4d1a12927479ca499ccbb968acd9d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b7dd92eeaa3e480db5d46bafae54f3d4.png
[e2601f9919704db4b1d952656006c80e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1ca6be4b2338420db9942b2800076603.png
[f85cecfb98d24a81a761aba00de5bc94.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2dd4bcc2563240b4aa59a897479d17f9.png
[2f7f72e3cb7548a69dcc24e52bfe4621.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/acaab33e12a1410db25cf837d7bd71e2.png
[ce9b7777545e4f72a2b04bb35718588c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9facab2380e746deabffa8f405fc2b4e.png
[d51da5784129400ab0992150bd496f31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d6e868c3ba594439a1ce9a84a9e84d66.png
[71bb817a8718431d8bbbe52bc05ae908.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f167155ab2244a3fbbc7ba8762f69028.png
[59267d63a3344403bea8aea3b9fb0851.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/abfcfc51cc7e4ea99961a3f683b4ae3c.png
[0fd5ad2561244bd29a429251bec44985.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d284435866854831a1b355d9f58a09cd.png
[c4b823d0aa0a4480b72270a573c34819.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/93cf8f34c3bc41108c9373fa6c9863ea.png
[818d34beaaee4493ac966d71351c9254.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e3fc1df8df5147049af353ec39219f6b.png
[335cfdab721543d78c08e0b8e996a747.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/995515459e7a481f8e4364a8faa857a4.png
[6a253958f4c84df3ad4e98617d51613b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0406a2b685664ebe85f3f43bcff5df67.png
[f3b4b8c7566c42fdb538471ed5e4c149.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e03c2c85a9814d7c8035701b5bd73857.png
[3b6bf4d18bb740cfbf81b23da0d5f416.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fbfc1f81366440faa6bc254e27151c10.png
[d0257a002c6c4011bbe153c46b70fc36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/717f1ab73c734e7e858c69b2c694e381.png
[7bd1e7c18fd945c09a72322911d866df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/61d25edf609c42ec9fe955335ffeea68.png
[0e328ac283384a51ae4c1365259c2a1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cd9a61961eb446999574407e5f4431f8.png
[181ef860dc5b48199f7512ad9c071b75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dd90011d5802426f997a366a5e381273.png
[002906ce51434257bb5de922aed1faa2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d2edefaba5034782a9803e38eef99aca.png
[df4b2542aa404619b96ede2628fcf2d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9b2d7379d78a4b7e9319a2a8ae561f66.png
[57b7ef27f8af443d82310ea1df259433.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6120634b6b8c4dda995bde7d9427ed7b.png
[14980a83e9374c35953ef745838f533c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/41cd529e296a4f33b925f79c53df2fd6.png