mydumper安装和使用

ゝ一纸荒年。 2022-03-16 03:56 712阅读 1赞

安装  
下载安装包：  
wget    https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz  
  
  
安装依赖包：  
yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake  
  
  
\#\# mydumper是C语句开发，编译依赖gcc和gcc-c++，如果编译出现C语言相关报错可yum install  gcc gcc-c++  
\#\# mydumper-0.9.1依赖5.7的mysql-devel，所以必须安装5.7的mysql-devel  
  
tar zxvf mydumper-0.9.1.tar.gz  
cd mydumper-0.9.1  
cmake .  
make  
make install  
  
  
安装完成后生成两个二进制文件mydumper和myloader位于/usr/local/bin目录下  
查看是否正常：  
mydumper --help

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*另一个版本\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
运行环境：centos 7.5 + mysql8.0  
1.介绍：  
1.1 基本信息简介：  
mydumper是第三方支持mysql的备份恢复工具，支持并行备份恢复速度快。  
https://github.com/maxbube/mydumper  
Parallelism (hence, speed) and performance (avoids expensive character set conversion routines, efficient code overall)  
Easier to manage output (separate files for tables, dump metadata, etc, easy to view/parse data)  
Consistency - maintains snapshot across all threads, provides accurate master and slave log positions, etc  
Manageability - supports PCRE for specifying database and tables inclusions and exclusions  
   
1.2发布历史：  
   
1.3 编译版本：  
\# mydumper --version  
mydumper 0.9.1, built against MySQL 5.1.73  
\# mydumper --version  
mydumper 0.9.3, built against MySQL 5.7.19-17  
\#\# mydumper  --version  
mydumper 0.9.5, built against MySQL 5.7.21-21  
   
   
2.安装：  
\# wget https://github.com/maxbube/mydumper/archive/v0.9.5.tar.gz  
\# tar -xzvf v0.9.5.tar.gz  -C /usr/local/  
\# mv /usr/local/mydumper-0.9.5/ /usr/local/mydumper  
   
切花到程序目录下查看README文件视操作系统而定：  
\# cat README.md  
   
安装依赖的软件包：  
   
\#  yum -y install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel gcc cmake make  
   
\#cmake .  
\#make  
   
编译安装完成之后在/usr/local/mydumper目录下生成mydumper和myloader二进制文件。  
编译报错的话查看报错信息：  
\#cat /usr/local/mydumper/CMakeFiles/CMakeOutput.log  
   
   
3.使用RPM的安装方式：  
\#  
yum install https://github.com/maxbube/mydumper/releases/download/v0.9.5/mydumper-0.9.5-1.el7.x86\_64.rpm  
   
   
4.mydumper的正则表达式：  
 mydumper使用--regex来使用正则表达式功能。  
不备份mysql和test库：  
 mydumper --regex '^(?!(mysql\\.|test\\.))'  
仅备份mysql和test库:  
 mydumper --regex '^(mysql\\.|test\\.)'  
不备份以test开头的数据库：  
 mydumper --regex '^(?!(test))'  
Of course, regex functionality can be used to describe pretty much any list of tables.  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
  
流程  
mydumper主要流程概括：  
  
1、主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性  
2、读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用  
3、N个（线程数可以指定，默认是4）dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致的事务  
4、dump non-InnoDB tables, 首先导出非事务引擎的表  
5、主线程 UNLOCK TABLES 非 事务引擎备份完后，释放全局只读锁  
6、dump InnoDB tables, 基于 事务导出InnoDB表  
7、事务结束  
  
mydumper使用--less-locking可以减少锁等待时间，此时mydumper的执行机制大致为  
  
1、主线程 FLUSH TABLES WITH READ LOCK （全局锁）  
2、Dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT;  
3、LL Dump线程 LOCK TABLES non-InnoDB （线程内部锁）  
4、主线程UNLOCK TABLES  
5、LL Dump线程 dump non-InnoDB tables  
6、LL DUmp线程 UNLOCK non-InnoDB  
7、Dump线程 dump InnoDB tables  
  
  
参数  
  
mydumper参数详解  
Application Options:  
  -B, --database              Database to dump   \#指定数据库  
  -T, --tables-list           Comma delimited table list to dump (does not exclude regex option) \#指定表  
  -o, --outputdir             Directory to output files to \#指定备份路径  
  -s, --statement-size        Attempted size of INSERT statement in bytes, default 1000000 \#生成的insert语句的字节数，默认1000000  
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize \#指定行切割表，使用时关闭--chunk-filesize  
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB \#指定备份文件切割大小  
  -c, --compress              Compress output files \#是否压缩表  
  -e, --build-empty-files     Build dump files even if no data available from table \#如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）  
  -x, --regex                 Regular expression for ‘db.table‘ matching \#使用正则表达式匹配‘db.table‘  
  -i, --ignore-engines        Comma delimited list of storage engines to ignore \#忽略的存储引擎  
  -m, --no-schemas            Do not dump table schemas with the data \#不备份表结构，只备份数据  
  -d, --no-data               Do not dump table data \#备份表结构，不备份数据  
  -G, --triggers              Dump triggers \#备份触发器  
  -E, --events                Dump events \#备份定时任务  
  -R, --routines              Dump stored procedures and functions \#备份存储过程和函数  
  -k, --no-locks              Do not execute the temporary shared read lock.  WARNING: This will cause inconsistent backups \#不使用临时共享只读锁，使用这个选项会造成数据不一致  
  --less-locking              Minimize locking time on InnoDB tables. \#减少对InnoDB表的锁施加时间  
  -l, --long-query-guard      Set long query timer in seconds, default 60 \#设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）  
  -K, --kill-long-queries     Kill long running queries (instead of aborting) \#杀掉长查询 (不退出)  
  -D, --daemon                Enable daemon mode \#启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备  
  -I, --snapshot-interval     Interval between each dump snapshot (in minutes), requires --daemon, default 60 \#dump快照间隔时间，默认60s，需要在daemon模式下  
  -L, --logfile               Log file name to use, by default stdout is used \#使用的日志文件名(mydumper所产生的日志), 默认使用标准输出  
  --tz-utc                    SET TIME\_ZONE=‘+00:00‘ at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.  
  --skip-tz-utc  
  --use-savepoints            Use savepoints to reduce metadata locking issues, needs SUPER privilege \#使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限  
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn‘t exist  
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL  
  -U, --updated-since         Use Update\_time to dump only tables updated in the last U days  
  --trx-consistency-only      Transactional consistency only  
  -h, --host                  The host to connect to \#主机名  
  -u, --user                  Username with privileges to run the dump \#用户  
  -p, --password              User password \#密码  
  -P, --port                  TCP/IP port to connect to \#端口  
  -S, --socket                UNIX domain socket file to use for connection \#使用socket通信时的socket文件  
  -t, --threads               Number of threads to use, default 4 \#开启的备份线程数，默认是4  
  -C, --compress-protocol     Use compression on the MySQL connection \#压缩与mysql通信的数据  
  -V, --version               Show the program version and exit \#显示版本号  
  -v, --verbose               Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 \#输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2  
  
  
PS：mydumper没有—where参数，部分场景不适用  
  
myloader参数详解  
Application Options:  
  -d, --directory                   Directory of the dump to import \#备份文件路径  
  -q, --queries-per-transaction     Number of queries per transaction, default 1000 \#每个事务的query数量, 默认1000  
  -o, --overwrite-tables            Drop tables if they already exist \#如果表存在则先删除，使用该参数，需要备份时候要备份表结构，不然还原会找不到表  
  -B, --database                    An alternative database to restore into \#指定需要还原的数据库  
  -s, --source-db                   Database to restore \#还原的数据库  
  -e, --enable-binlog               Enable binary logging of the restore data \#启用二进制日志恢复数据  
  -h, --host                        The host to connect to \#主机名  
  -u, --user                        Username with privileges to run the dump \#账号  
  -p, --password                    User password \#密码  
  -P, --port                        TCP/IP port to connect to \#端口  
  -S, --socket                      UNIX domain socket file to use for connection \#使用socket通信时的socket文件  
  -t, --threads                     Number of threads to use, default 4 \#开启的恢复线程数，默认是4  
  -C, --compress-protocol           Use compression on the MySQL connection  \#压缩与mysql通信的数据  
  -V, --version                     Show the program version and exit\#显示版本号  
  -v, --verbose                     Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 \#输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2  
  
  
样例  
  
备份多线程单表，必须启用-r指定行数拆分单表为多个文件，会生成多个文件  
  
mydumper -u xxx  -p xxx   -h xxx  -P 3307 -B lgjdb -T yyd\_users,liangtab -t 4  -r 3000000  -o /root/lgj -c -C -l 200 &  
  
   
  
  
还原数据  
myloader -u xxx  -p xxx   -h xxx   -P 3307 -B lgjdb -d /root/lgj

\-- 结论：  
使用myloader恢复某一个表的时候，备份的文件夹里面只有这个表的sql就行了，如果有其他表的sql，其他表的备份会被恢复到指定的表里面。  
感觉myloader恢复的时候，不能指定某一个文件进行恢复，是指定某一个文件夹进行恢复。所以文件夹里面只能有要恢复的表 。  
另外，恢复的文件夹里面必须要有metadata这个文件，否则没法恢复，会提示这个文件夹不是dumper文件夹。  
如果在主库上进行恢复，需要同步在备库，则需要加上-e参数，产生binlog日志 。

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*会锁表\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具，备份方式为逻辑备份。它支持多线程，备份速度远高于原生态的mysqldump以及众多优异特性。因此该工具是DBA们的不二选择。本文主要描述该工具的使用方法并给出示例。

有关mydumper安装参考：mydumper安装及安装故障汇总

1、mydumper的特点  
a、多线程逻辑备份,生产的多个备份文件  
b、与mysqldump相同，备份时对 MyISAM 表施加FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞DML 语句  
c、保证备份数据的一致性  
d、支持文件压缩，支持导出binlog，支持多线程恢复，支持将备份文件切块  
e、支持以守护进程模式工作，定时快照和连续二进制日志

2、mydumper语法  
mydumper -u \[USER\] -p \[PASSWORD\] -h \[HOST\] -P \[PORT\] -t \[THREADS\] -b -c -B \[DB\] -o \[directory\]  
参数说明  
  -B, --database              需要备份的库  
  -T, --tables-list           需要备份的表，用逗号分隔  
  -o, --outputdir             输出文件的目录  
  -s, --statement-size        生成插入语句的字节数, 默认 1000000  
  -r, --rows                  分裂成很多行块表  
  -c, --compress              压缩输出文件  
  -e, --build-empty-files     即使表没有数据，还是产生一个空文件  
  -x, --regex                 正则表达式: 'db.table'  
  -i, --ignore-engines        忽略的存储引擎，用逗号分隔  
  -m, --no-schemas            不导出表结构  
  -k, --no-locks              不执行共享读锁 警告：这将导致不一致的备份  
  -l, --long-query-guard      设置长查询时间,默认60秒  
  --kill-long-queries         kill掉长时间执行的查询  
  -b, --binlogs               导出binlog  
  -D, --daemon                启用守护进程模式  
  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下  
  -L, --logfile               日志文件  
  -h, --host                  The host to connect to  
  -u, --user                  Username with privileges to run the dump  
  -p, --password              User password  
  -P, --port                  TCP/IP port to connect to  
  -S, --socket                UNIX domain socket file to use for connection  
  -t, --threads               使用的线程数，默认4  
  -C, --compress-protocol     在mysql连接上使用压缩协议  
  -V, --version               Show the program version and exit  
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

3、mydumper的工作过程  
a、连接目标数据库；  
b、通过show processlist来判断是否有长查询，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;  
c、锁定myisam表，flush tables with read lock；针对innodb table开启事务，start transaction；  
d、创建worker子线程，缺省为4个；  
e、确定候选表，根据类别分别插入innodb\_table，non\_innodb\_table以及table\_schemas链表(表结构)；  
f、将候选表通过g\_async\_queue\_push加入任务队列(队列最后元素是thread shutdown)，由worker子线程从队列中读取表信息并执行数据导出  
g、执行unlock tables，处理完myisam表后立即解锁，以减少锁定时间；  
h、等待worker退出；

4、备份文件相关信息  
a、所有的备份文件在一个目录中，未指定时为当前目录， 且自动生成备份日期时间文件夹，如export-20150703-145806  
b、目录中包含一个 metadata 文件，该文件记录了备份时间点的二进制日志文件名，日志的写入位置  
c、如果是在从库进行备份，还会记录备份时同步至主库的二进制日志文件及写入位置  
d、每个表有两个备份文件：database.table-schema.sql 表结构文件，database.table.sql 表数据文件  
e、如果对表文件分片，将生成多个备份数据文件，可以指定行数或指定大小分片

5、常用备份示例：  
\#\#\#备份单个库  
\# mydumper -u leshami -p pwd -B sakila -o /tmp/bak

\#\#\#备份所有数据库，全库备份期间除了information\_schema与performance\_schema之外的库都会被备份  
\# mydumper -u leshami -p pwd -o /tmp/bak

\#\#\#备份单表  
\# mydumper -u leshami -p pwd -B sakila -T actor -o /tmp/bak

\#\#\#备份多表  
\# mydumper -u leshami -p pwd -B sakila -T actor,city -o /tmp/bak

\#\#\#当前目录自动生成备份日期时间文件夹,不指定-o参数及值时，如文件夹为：export-20150703-145806  
mydumper -u leshami -p pwd -B sakila -T actor

\#\#\#不带表结构备份表  
\# mydumper -u leshami -p pwd -B sakila -T actor -m

\#\#\#压缩备份及连接使用压缩协议(非本地备份时)  
\# mydumper -u leshami -p pwd -B sakila -o /tmp/bak -c -C

\#\#\#备份特定表  
\# mydumper -u leshami -p pwd -B sakila --regex=actor\* -o /tmp/bak

\#\#\#过滤特定库，如本来不备份mysql及test库  
\# mydumper -u leshami -p pwd -B sakila --regex '^(?!(mysql|test))' -o /tmp/bak

\#\#\#基于空表产生表结构文件  
\# mydumper -u leshami -p pwd -B sakila -T actor -e -o /tmp/bak

\#\#设置长查询的上限，如果存在比这个还长的查询则退出mydumper，也可以设置杀掉这个长查询  
\#mydumper -u leshami -p pwd -B sakila --long-query-guard 200 --kill-long-queries

\#\#\#备份时输出详细日志  
\# mydumper -u leshami -p pwd -B sakila -T actor -v 3 -o /tmp/bak