11. shell多线程备份数据库

﹏ヽ暗。殇╰゛Y 2022-04-23 08:38 135阅读 0赞

也许你会有疑问，shell这么简单的脚本语言有多线程一说吗？答案是有的，只不过它实现起来有些难理解罢了，因为它借助了命名管道实现。所谓多线程就是将原来由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10个小时完成的事情，现在分配给10个线程，给它们分工，然后同时去做这件事情，最终可能就需要1个小时。

本案例就是实现shell多线程备份数据库，具体要求如下：

1）公司的业务量比较大，有100个数据库需要全量备份，而每个数据库的数据量高达几十GB
      （注意：每一个库都为一个独立的实例，即有着独立的ip:port）；
      
    2）预估每一个库的备份时间为30分钟左右,要求在5个小时内完成；
    
    3）假设100个库的库名、host、port以及配置文件路径都存到一个文件里，文件名字为 /tmp/databases.list ；
    
    4）格式为：db1 10.10.10.2 3308 /data/mysql/db1/my.cnf 。

要想在5小时内完成100个数据库的备份，需要使用shell脚本的多线程功能，一次性开10个线程同时并发备份10个数据库。

参考脚本如下：

#!/bin/bash
    #多线程备份数据库
    #备份数据库使用xtrabackup（由于涉及到myisam，命令为innobackupex）
    
    exec &> /tmp/mysql_bak.log
    
    if ! which inoobackupex &>/dev/null
    then
        echo "安装xtrabackup工具"
        yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
        yum install percona-xtrabackup-24
        
        if [ $? -ne 0 ]
        then
            echo -e "\033[31m安装xtrabackup工具出错，请检查\033[0m"
            exit 1
        fi
    fi
    
    bakdir=/data/backup/mysql
    bakuser=vyNctM
    bakpass=99omeaBHh
    
    bak_data()
    { 
        db_name=$1
        db_host=$2
        db_port=$3
        cnf=$4
        
        [ -d $bakdir/$db_name ] || mkdir -p $bakdir/$db_name
        innobackupex --defaults-file=$4 --host=$2 --port=$3 --user=$bakuser --password=$bakpass --databases=$1 $bakdir
        
        if [ $? -ne 0 ]
        then
            echo -e "\033[31m备份数据库$1出现问题\033[0m"
        fi
    }
    
    fifofile=/tmp/$$
    mkfifo $fifofile
    exec 1000<>$fifofile
    
    n=10
    for ((i=0;i<$n;i++))
    do
        echo >&1000         # 0-9，创建10个线程
    done
    
    cat /tmp/databases.list |while read line
    do
        read -u1000
        { 
            bak_data `echo $line`
            echo >&1000
        } &
    done
    
    wait
    exec 1000>&-        #删除fd1000
    rm -f $fifofile     #删除命名管道

脚本中，

1.  exec &> /tmp/mysql\_bak.log ，将正确输出和错误输出都重定向到 /tmp/mysql\_bak.log
2.  $$表示本进程PID，mkfifo命令创建命名管道
3.  read line ，line为变量名，将接下来的输入赋值给line

--------------------