TiDB亿级数据亚秒响应查询将MySql数据全量迁移到TiDB

迈不过友情╰ 2024-03-16 16:10 74阅读 0赞

#### 目录 ####

*  1 下载安装TiDB工具包
 *   *  1.1 检查最新版本
     *  1.2 下载tidb-toolkit
 *  2 Dumpling导出数据
 *   *  2.1 Dumpling工具简介
     *  2.2 导出需要的权限
     *  2.3 创建用户并授权
     *  2.4 验证数据库
     *  2.5 导出sql文件
     *  2.6 查看导出文件
 *  3 TiDB Lightning导入数据
 *   *  3.1 TiDB Lightning简介
     *  3.2 TiDB Lightning 整体架构
     *  3.3 配置tidb-lightning.toml
     *  3.4 执行导入命令
     *  3.5 检查是否导入成功

--------------------

## 1 下载安装TiDB工具包 ##

![在这里插入图片描述][b33e6bed55954d119df3837a8d4a800a.png]

> 安装包位置在`https://download.pingcap.org/tidb-toolkit-{version}-linux-amd64.tar.gz`
> 
>  *  \{version\}：为 Dumpling 的版本号，可以通过 Dumpling Release `https://github.com/pingcap/dumpling/releases` 查看当前已发布版本

### 1.1 检查最新版本 ###

> 通过 Dumpling Release`https://github.com/pingcap/dumpling/releases` 查看当前已发布版本，检查发现Dumpling当前版本是`4.0.11`

![在这里插入图片描述][fc42a25fcfa446428bed02fcfdfa4a45.png]

### 1.2 下载tidb-toolkit ###

# 下载工具包
    wget https://download.pingcap.org/tidb-toolkit-v5.0.6-linux-amd64.tar.gz
    # 解压文件
    tar -zxvf tidb-toolkit-v5.0.6-linux-amd64.tar.gz

## 2 Dumpling导出数据 ##

### 2.1 Dumpling工具简介 ###

> `Dumpling` 是使用 go 开发的数据备份工具，项目地址可以参考 Dumpling`https://github.com/pingcap/dumpling`。

> Dumpling命令参数列表

<table> 
 <thead> 
  <tr> 
   <th align="left">主要选项</th> 
   <th align="left">用途</th> 
   <th align="left">默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">-V 或 --version</td> 
   <td align="left">输出 Dumpling 版本并直接退出</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-B 或 --database</td> 
   <td align="left">导出指定数据库</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-T 或 --tables-list</td> 
   <td align="left">导出指定数据表</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-f 或 --filter</td> 
   <td align="left">导出能匹配模式的表，语法可参考 <a href="https://docs.pingcap.com/zh/tidb/stable/table-filter" rel="nofollow">table-filter</a></td> 
   <td align="left"><code>*.*</code>（导出所有库表）</td> 
  </tr> 
  <tr> 
   <td align="left">–case-sensitive</td> 
   <td align="left">table-filter 是否大小写敏感</td> 
   <td align="left">false，大小写不敏感</td> 
  </tr> 
  <tr> 
   <td align="left">-h 或 --host</td> 
   <td align="left">连接的数据库主机的地址</td> 
   <td align="left">“127.0.0.1”</td> 
  </tr> 
  <tr> 
   <td align="left">-t 或 --threads</td> 
   <td align="left">备份并发线程数</td> 
   <td align="left">4</td> 
  </tr> 
  <tr> 
   <td align="left">-r 或 --rows</td> 
   <td align="left">将 table 划分成 row 行数据，一般针对大表操作并发生成多个文件。</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-L 或 --logfile</td> 
   <td align="left">日志输出地址，为空时会输出到控制台</td> 
   <td align="left">“”</td> 
  </tr> 
  <tr> 
   <td align="left">–loglevel</td> 
   <td align="left">日志级别 {debug,info,warn,error,dpanic,panic,fatal}</td> 
   <td align="left">“info”</td> 
  </tr> 
  <tr> 
   <td align="left">–logfmt</td> 
   <td align="left">日志输出格式 {text,json}</td> 
   <td align="left">“text”</td> 
  </tr> 
  <tr> 
   <td align="left">-d 或 --no-data</td> 
   <td align="left">不导出数据，适用于只导出 schema 场景</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–no-header</td> 
   <td align="left">导出 csv 格式的 table 数据，不生成 header</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-W 或 --no-views</td> 
   <td align="left">不导出 view</td> 
   <td align="left">true</td> 
  </tr> 
  <tr> 
   <td align="left">-m 或 --no-schemas</td> 
   <td align="left">不导出 schema，只导出数据</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-s 或–statement-size</td> 
   <td align="left">控制 <code>INSERT</code> SQL 语句的大小，单位 bytes</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-F 或 --filesize</td> 
   <td align="left">将 table 数据划分出来的文件大小，需指明单位（如 <code>128B</code>, <code>64KiB</code>, <code>32MiB</code>, <code>1.5GiB</code>）</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–filetype</td> 
   <td align="left">导出文件类型（csv/sql）</td> 
   <td align="left">“sql”</td> 
  </tr> 
  <tr> 
   <td align="left">-o 或 --output</td> 
   <td align="left">导出文件路径</td> 
   <td align="left">“./export-${time}”</td> 
  </tr> 
  <tr> 
   <td align="left">-S 或 --sql</td> 
   <td align="left">根据指定的 sql 导出数据，该选项不支持并发导出</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–consistency</td> 
   <td align="left">flush: dump 前用 FTWRL snapshot: 通过 TSO 来指定 dump 某个快照时间点的 TiDB 数据 lock: 对需要 dump 的所有表执行 <code>lock tables read</code> 命令 none: 不加锁 dump，无法保证一致性 auto: 对 MySQL 使用 --consistency flush；对 TiDB 使用 --consistency snapshot</td> 
   <td align="left">“auto”</td> 
  </tr> 
  <tr> 
   <td align="left">–snapshot</td> 
   <td align="left">snapshot tso，只在 consistency=snapshot 下生效</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–where</td> 
   <td align="left">对备份的数据表通过 where 条件指定范围</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-p 或 --password</td> 
   <td align="left">连接的数据库主机的密码</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">-P 或 --port</td> 
   <td align="left">连接的数据库主机的端口</td> 
   <td align="left">4000</td> 
  </tr> 
  <tr> 
   <td align="left">-u 或 --user</td> 
   <td align="left">连接的数据库主机的用户名</td> 
   <td align="left">“root”</td> 
  </tr> 
  <tr> 
   <td align="left">–dump-empty-database</td> 
   <td align="left">导出空数据库的建库语句</td> 
   <td align="left">true</td> 
  </tr> 
  <tr> 
   <td align="left">–ca</td> 
   <td align="left">用于 TLS 连接的 certificate authority 文件的地址</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–cert</td> 
   <td align="left">用于 TLS 连接的 client certificate 文件的地址</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–key</td> 
   <td align="left">用于 TLS 连接的 client private key 文件的地址</td> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left">–csv-delimiter</td> 
   <td align="left">csv 文件中字符类型变量的定界符</td> 
   <td align="left">‘"’</td> 
  </tr> 
  <tr> 
   <td align="left">–csv-separator</td> 
   <td align="left">csv 文件中各值的分隔符</td> 
   <td align="left">‘,’</td> 
  </tr> 
  <tr> 
   <td align="left">–csv-null-value</td> 
   <td align="left">csv 文件空值的表示</td> 
   <td align="left">“\N”</td> 
  </tr> 
  <tr> 
   <td align="left">–escape-backslash</td> 
   <td align="left">使用反斜杠 (<code>\</code>) 来转义导出文件中的特殊字符</td> 
   <td align="left">true</td> 
  </tr> 
  <tr> 
   <td align="left">–output-filename-template</td> 
   <td align="left">以 <a href="https://golang.org/pkg/text/template/#hdr-Arguments" rel="nofollow">golang template</a> 格式表示的数据文件名格式 支持 <code>{ {.DB}}</code>、<code>{ {.Table}}</code>、<code>{ {.Index}}</code> 三个参数 分别表示数据文件的库名、表名、分块 ID</td> 
   <td align="left">‘{ {.DB}}.{ {.Table}}.{ {.Index}}’</td> 
  </tr> 
  <tr> 
   <td align="left">–status-addr</td> 
   <td align="left">Dumpling 的服务地址，包含了 Prometheus 拉取 metrics 信息及 pprof 调试的地址</td> 
   <td align="left">“:8281”</td> 
  </tr> 
  <tr> 
   <td align="left">–tidb-mem-quota-query</td> 
   <td align="left">单条 dumpling 命令导出 SQL 语句的内存限制，单位为 byte。对于 v4.0.10 或以上版本，若不设置该参数，默认使用 TiDB 中的 <code>mem-quota-query</code> 配置项值作为内存限制值。对于 v4.0.10 以下版本，该参数值默认为 32 GB</td> 
   <td align="left">34359738368</td> 
  </tr> 
  <tr> 
   <td align="left">–params</td> 
   <td align="left">为需导出的数据库连接指定 session 变量，可接受的格式: “character_set_client=latin1,character_set_connection=latin1”</td> 
   <td align="left"></td> 
  </tr> 
 </tbody> 
</table>

### 2.2 导出需要的权限 ###

*  SELECT
 *  RELOAD
 *  LOCK TABLES
 *  REPLICATION CLIENT

### 2.3 创建用户并授权 ###

#创建tidb用户密码是 tidb并授权外部所以IP可以访问
    CREATE USER 'tidb'@'%' IDENTIFIED BY 'tidb';
    # 授权SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT 权限给tidb用户
    GRANT SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'tidb'@'%';
    # 刷新数据库
    FLUSH PRIVILEGES;

### 2.4 验证数据库 ###

mysql -u tidb -h 172.16.44.47 -p
    show databases;
    show tables;

![在这里插入图片描述][c92e72642da84ca780d474a27b58121a.png]

### 2.5 导出sql文件 ###

> Dumpling 默认导出数据格式为 sql 文件。也可以通过设置 `--filetype sql` 导出数据到 sql 文件：

./bin/dumpling -h 172.16.44.47 -P 3306 -B employees  -u tidb -p tidb --filetype sql --threads 10 -o /tmp/test -F 256MiB

> 执行命令后从mysql中导出了文件

![在这里插入图片描述][3126e0df9f424ae1bef31b1109dadc05.png]

### 2.6 查看导出文件 ###

cd /tmp/test/ ; ll

![在这里插入图片描述][b4e15131ea944bcb9a4fadba8aea101e.png]

## 3 TiDB Lightning导入数据 ##

### 3.1 TiDB Lightning简介 ###

> TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具。

TiDB Lightning 有以下两个主要的使用场景：一是大量新数据的快速导入；二是全量备份数据的恢复。目前，Lightning 支持 Dumpling 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning：

*  **迅速**导入**大量新**数据。
 *  恢复所有备份数据。

### 3.2 TiDB Lightning 整体架构 ###

![在这里插入图片描述][35eddab6719447dea4235e90bfd2ffda.png]

### 3.3 配置tidb-lightning.toml ###

vi tidb-lightning.toml
    
    [lightning]
    # 日志
    level = "info"
    file = "tidb-lightning.log"
    
    [tikv-importer]
    # 选择使用的 local 后端
    backend = "local"
    # 设置排序的键值对的临时存放地址，目标路径需要是一个空目录
    "sorted-kv-dir" = "/tmp/sorted-kv-dir"
    
    [mydumper]
    # 源数据目录。
    data-source-dir = "/tmp/test/"
    
    [tidb]
    # 目标集群的信息
    host = "192.168.64.152"
    port = 4000
    user = "root"
    password = ""
    # 表架构信息在从 TiDB 的“状态端口”获取。
    status-port = 10080
    # 集群 pd 的地址
    pd-addr = "192.168.64.152:2379"

### 3.4 执行导入命令 ###

./bin/tidb-lightning -config tidb-lightning.toml

> 出现错误不需要理会，等待导入完成

![在这里插入图片描述][9aff89db7b9b40a09dee5adfef89e056.png]

> 导入完毕后，TiDB Lightning 会自动退出。若导入成功，日志的最后一行会显示 `tidb lightning exit`。

![在这里插入图片描述][2748d39fc03b4b15ab8c64ec40922f61.png]

### 3.5 检查是否导入成功 ###

> 登录TiDB检查导入是否成功

mysql -u root -P 4000 -h 192.168.64.152

![在这里插入图片描述][5f601f19264f47e1b7d210d57dc0994d.png]

> 到这里基本上已经确定导入成功

[b33e6bed55954d119df3837a8d4a800a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/130f4fa496fe4305ae2a397f8af4822e.png
[fc42a25fcfa446428bed02fcfdfa4a45.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cb0a9372664c461c97bc1059a2efd47a.png
[c92e72642da84ca780d474a27b58121a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d344d9f30c1c42c7b9e7bd7c24eba4e0.png
[3126e0df9f424ae1bef31b1109dadc05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f0b27adde83246d988c5c3f948bae646.png
[b4e15131ea944bcb9a4fadba8aea101e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e9c3c3b2335f450e9ed805c8d6d2aec5.png
[35eddab6719447dea4235e90bfd2ffda.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/df6fbcc661604f78b9962ac1050f5d3b.png
[9aff89db7b9b40a09dee5adfef89e056.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/74c80bd35fd84db787113ca167f01d26.png
[2748d39fc03b4b15ab8c64ec40922f61.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/75e2b46dfb9d417a930871d5b0955fda.png
[5f601f19264f47e1b7d210d57dc0994d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c81b535cf98342c08dd448c3316af3dd.png