MySQL Backup--Xtrabackup备份限速问题

太过爱你忘了你带给我的痛 2022-12-20 03:17 225阅读 0赞

在innobackupex 2.4版本中，有两个参数用来限制备份速度：

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

--throttle=#        
    This option specifies a number of I/O operations (pairs
    of read+write) per second.  It accepts an integer
    argument.  It is passed directly to xtrabackup's
    --throttle option.
    
    --parallel=#       
    On backup, this option specifies the number of threads
    the xtrabackup child process should use to back up files
    concurrently.  The option accepts an integer argument. It
    is passed directly to xtrabackup's --parallel option. See
    the xtrabackup documentation for details.

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

在percoan官方网站上对throttle参数有如下解释：

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

Although xtrabackup does not block your database’s operation, 
    any backup can add load to the system being backed up. On systems 
    that do not have much spare I/O capacity, it might be helpful to 
    throttle the rate at which xtrabackup reads and writes data. 
    You can do this with the xtrabackup --throttle option. This option 
    limits the number of chunks copied per second. The chunk size is 10 MB.
    https://www.percona.com/doc/percona-xtrabackup/2.4/advanced/throttling_backups.html

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

如果想将备份速度控制在50MB/s以下的话，那么throttle参数需要设置为5，使用该参数备份开始后IO使用情况为：

![bfd57e68a5d289d677c1388934b410de.png][]

备份进程一直在写xtrabackup\_logfile文件，如果备份实例的数据操作较多时，会导致备份进程一直处于该状态无法继续后面操作。

PS： 备份目录下xtrabackup\_logfile文件的增长速度和参数throttle密切相关。

在备份实例停止全部操作情况，使用throttle=5进行备份，备份进行执行10分钟还在处理xtrabackup\_logfile文件，备份效率无法保证。

调整为throttle=10后，备份过程中期IO使用情况为：

![601e709faf0c6b1d57dabde628f055ad.png][]

10\*10MB/S=100MB/S=102400KB/S，证明throttle=10的确有效。

参数parallel使用多个进程来备份数据文件，在磁盘速度够快情况下，parallel能有效提升备份效率，但无法进行限速操作。

======================================================================================

由于参数throttle设置较低会导致无法正常备份，而设置较高又无法起到限速目的，因此考虑使用pv方式来限速。

PV 由Andrew Wood 开发，是 Pipe Viewer 的简称，经过管道显现数据处理进展的信息，控制管道数据的流入流出速度，就到控制备份的速度。

为验证pv限速和对比stream备份和普通备份的差距，设计下面三种测试方案：

方案1：使用stream=tar流时备份+使用tar -x解压到本地+使用PV限制速度200M(下图红色框标识)  
方案2：不使用stream流式备份+备份本地+不限制速度(下图绿色框标识)  
方案3：使用stream=tar流时备份+使用tar -x解压到本地+不限制速度(下图黄色框标识)

测试脚本为：

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

## 使用stream=tar流时备份
    ## 使用tar -x解压到本地
    ## 使用PV限制速度200M
    innobackupex \
    --defaults-file="/export/servers/mysql/etc/my.cnf" \
    --host="localhost" \
    --port=3358 \
    --user='root' \
    --password='root_password' \
    --stream=tar \
    "/export/bak/tmp/" |pv -q -L200m | tar -x
    
    ## 不使用stream流式备份
    ## 不限制速度
    innobackupex \
    --defaults-file="/export/servers/mysql/etc/my.cnf" \
    --host="localhost" \
    --port=3358 \
    --user='root' \
    --password='root_password' \
    "/export/bak/full/"
    
    ## 使用stream=tar流时备份
    ## 使用tar -x解压到本地
    ## 不限制速度
    innobackupex \
    --defaults-file="/export/servers/mysql/etc/my.cnf" \
    --host="localhost" \
    --port=3358 \
    --user='root' \
    --password='root_password' \
    --stream=tar \
    "/export/bak/tmp/" | tar -x

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

备份对CPU的影响：

![7009ad7e30f13da0e923cc5ba5a0dd5f.png][]

备份对IO读写次数的影响：

![47514f93c9374ef19d2bcfe7f178219b.png][]

备份对IO读写速度的影响：

![42f26e60dbf6aa6896c4ebf3357a1a15.png][]

对比发现：

1、使用pv命令可以有效限制备份读写速度，但不能精确限制读写速度(限速200MB/S，实际速度170MB/S)

2、使用stream压缩+解压进行备份时，CPU有轻微增长，但影响并不明显。

3、在不限速情况下，使用stream压缩+解压的备份效率远低于普通备份(上面测试环境下接近差一倍)

4、使用stream压缩+解压进行备份时，可以增减备份线程parallel来提高备份效率。

[48304ba5e6f9fe08f3fa1abda7d326ab.png]: /images/20221120/78fabea2a9b24b06ae56f1d8f9e0d23a.png
[bfd57e68a5d289d677c1388934b410de.png]: https://img-blog.csdnimg.cn/img_convert/bfd57e68a5d289d677c1388934b410de.png
[601e709faf0c6b1d57dabde628f055ad.png]: https://img-blog.csdnimg.cn/img_convert/601e709faf0c6b1d57dabde628f055ad.png
[7009ad7e30f13da0e923cc5ba5a0dd5f.png]: https://img-blog.csdnimg.cn/img_convert/7009ad7e30f13da0e923cc5ba5a0dd5f.png
[47514f93c9374ef19d2bcfe7f178219b.png]: https://img-blog.csdnimg.cn/img_convert/47514f93c9374ef19d2bcfe7f178219b.png
[42f26e60dbf6aa6896c4ebf3357a1a15.png]: https://img-blog.csdnimg.cn/img_convert/42f26e60dbf6aa6896c4ebf3357a1a15.png