MYSQL 之 MHA架构搭建

我不是女神ヾ 2023-06-29 02:54 4阅读 0赞

### 文章目录 ###

*   *  一、MHA的简介
     *   *  1.1、MHA的组成
         *  1.2、MHA特点
     *  二、MHA的案例
     *   *  2.1、案例需求
         *  2.2、案例实现思路
         *  2.3、案例环境
     *  三、具体搭建过程
     *   *  3.1、实现MySQL的一主两从
         *  3.2、安装 MHA
         *  3.3、配置无密码访问
         *  3.4、配置MHA
         *  3.5、故障模拟

## 一、MHA的简介 ##

*  目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本人youshimaton开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。
 *  在MySQL故障 切换过程中，MHA能做到0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能最大程度上保证数据库的一致性，以达到真正意义上的高可用。
 *  当Master出现故障时，它可以自动将最新数据的Slave提升为新的Master,然后将所有其他的Slave重新指向新的Master。整个故障转移过程对应用程序是完全透明的。

### 1.1、MHA的组成 ###

*  MHA Manager (管理节点)：  
    Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。
 *  MHA Node (数据节点)：  
    Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。

### 1.2、MHA特点 ###

*  自动故障切换过程中，MHA试图从宕机的主服务器.上保存二进制日志，最大程度的保证数据的不丢失
 *  使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险

## 二、MHA的案例 ##

### 2.1、案例需求 ###

*  本案例要求通过MHA监控MySQL数据库在故障时进行自动切换，不影响业务。

### 2.2、案例实现思路 ###

*  1、 安装MySQL数据库
 *  2、 配置MySQl一主两从
 *  3、 安装MHA软件
 *  4、 配置无密码认证
 *  5、 配置MySQL MHA 高可用
 *  6、 模拟 master 故障切换

### 2.3、案例环境 ###

<table> 
 <thead> 
  <tr> 
   <th>管理</th> 
   <th>IP地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>manager</td> 
   <td>192.168.220.130</td> 
  </tr> 
  <tr> 
   <td>master</td> 
   <td>192.168.220.136</td> 
  </tr> 
  <tr> 
   <td>slave1</td> 
   <td>192.168.220. 164</td> 
  </tr> 
  <tr> 
   <td>slave2</td> 
   <td>192.168.220.159</td> 
  </tr> 
 </tbody> 
</table>

*  操作系统：Cent0S7-6 版本， MHA版本是0.57版本， Mysql数据库安装的是5.7版本

**MHA架构搭建过程中所需的安装包百度云盘链接：https://pan.baidu.com/s/1wfLyATVMg9IWU\_MZd9Vadg  
提取码：46ad**

**首先，先在三台服务器上安装 MYSQL 数据库。这里我就不再展示了，具体的搭建过程见之前的博客，链接为：[Mysql5.7版本安装步骤详解][Mysql5.7]**

## 三、具体搭建过程 ##

**这里建议实验主机用 hostnamectl 命令修改，方便实验。**

#将manager服务器的主机名改为manager
    hostnamectl set-hostname manager
    su
    #修改服务器名称，将manster服务器的主机名改为manster
    hostnamectl set-hostname manster
    su
     #修改服务器名称，将slave1服务器的主机名改为slaveq
    hostnamectl set-hostname slave1
     su
     #修改服务器名称，将slave2服务器的主机名改为slave2
    hostnamectl set-hostname slave2
     su

就像这样，配置过程不易混淆。  
![在这里插入图片描述][20200110143644884.png]

### 3.1、实现MySQL的一主两从 ###

**一、MYSQL数据库已经安装完成，接下来是 Mysql 的一主两从部署。**

*  **主服务器 master：**

1、mysql主服务器配置

vim /etc/my.cnf
    server-id = 1               //指定id号，服务器的唯一标识，不能相同
    log-bin=master-bin           //主服务器日志文件
    log-slave-updates=true       //从服务器更新二进制日志

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70]  
2、重启服务

systemctl restart mysqld

*  **从服务器slave1：**

1、修改配置文件

vim /etc/my.cnf
    
    server-id = 2       
    relay-log=relay-log-bin     //从主服务器上同步日志文件记录到本地  
    relay-log-index=slave-relay-bin.index   //定义relay-log的位置和名称

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 1]  
**注意：如果你的 mysql 手工编译安装的是 5.7 版本，从服务器一定要在client段把 utf-8 这行注释掉，否则在最后检查MHA健康状况时报错。**

[client]
    #default-character-set=utf8 //注释掉此行代码

2、重启服务

systemctl restart mysqld

**同样从服务器 slave2 修改id和日志，重启服务。**

vim /etc/my.cnf
    server-id = 3       
    relay-log=relay-log-bin     //从主服务器上同步日志文件记录到本地  
    relay-log-index=slave-relay-bin.index   //定义relay-log的位置和名称
    #重启服务
    systemctl restart mysqld

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 2]  
3、给master、slave1、slave2 分别建立软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
    ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

4、数据库的授权。在所有的数据库节点上授权两个用户，一个是从库同步使用，另外一个是 manager 使用监控，即在**master、slave1、slave2** 上搭建。

mysql -u root -pabc123
    
    grant replication slave on *.* to 'myslave'@'192.168.220.%' identified by '123';
    grant all privileges on *.* to 'mha'@'192.168.220.%' identified by 'manager';
    flush privileges;      //刷新数据库的权限相关表

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 3]  
**在master服务器上查看二进制文件和位置，File和Position这两个值在后面配置从服务器的时候会用到。**  
![在这里插入图片描述][20200110151502168.png]  
**在slave1和slave2服务器上加权限。**

mysql -u root -pabc123
    #授权要根据在master上看到的日志文件和position填写，不能乱填
    change master to master_host='192.168.220.136',master_user='myslave',master_password='123123',master_log_file='master-bin.000002',master_log_pos=774;

![在这里插入图片描述][2020011015192472.png]  
5、启动同步，查看slave状态，确保以下两个值为YES

start slave;    //开启从服务       
    show slave status\G;    //查看状态

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 4]

必须设置两个从库slave为只读模式
    set global read_only=1;
    
    flush privileges;      //刷新数据库的权限相关表

![在这里插入图片描述][20200110152150757.png]

### 3.2、安装 MHA ###

1、给所有服务器安装 MHA 的依赖环境  
![在这里插入图片描述][20200110152500555.png]  
![在这里插入图片描述][20200110152701587.png]  
2、**所有服务器必须先安装node组件，然后在 manager 节点上安装 manager 组件。**

*  **因为manager依赖node 组件**

先在所有服务器安装node组件

#挂载共享文件
    mount.cifs //192.168.220.128/share /mnt
    cd ~
    tar zxvf /mnt/mysql/mha/mha4mysql-node-0.57.tar.gz
    cd mha4mysql-node-0.57/
    perl Makefile.PL     
    make && make install

![在这里插入图片描述][20200110154434995.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 5]  
在 manager 节点上安装 manager 组件

cd ~
    tar zxvf /mnt/mysql/mha/mha4mysql-manager-0.57.tar.gz
    cd mha4mysql-manager-0.57/
    perl Makefile.PL    
    make && make install

*  **manager 安装后在 /usr/local/bin/ 目录下会生成几个工具**

主要包括以下几个：

<table> 
 <thead> 
  <tr> 
   <th align="center">masterha_check_ssh</th> 
   <th>检查 MHA 的 SSH 配置状况</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">masterha_check_repl</td> 
   <td>检查mysql复制状况</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_master_monitor</td> 
   <td>检查master是否宕机</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_master_switch</td> 
   <td>控制故障转移</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_check_status</td> 
   <td>检查当前MHA运行状态</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_conf_host</td> 
   <td>添加或删除配置的server信息</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_stop</td> 
   <td>关闭manager</td> 
  </tr> 
  <tr> 
   <td align="center">masterha_manager</td> 
   <td>启动manager的脚本</td> 
  </tr> 
 </tbody> 
</table>

*  **node 安装后也会在/usr/local/bin/目录下会生成几个脚本。**  
    这些工具通常由Manager 的脚本触发，无需人为操作， 主要如下:

<table> 
 <thead> 
  <tr> 
   <th align="center">save_binary_logs</th> 
   <th>保存和复制 master 的二进制日志</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">apply_diff_relay_logs</td> 
   <td>识别差异的中继日志事件并将其差异的事件应用于其他的slave</td> 
  </tr> 
  <tr> 
   <td align="center">filter_mysqlbinlog</td> 
   <td>去除不必要的 rollback 事件(MHA 己不再使用这个工具)</td> 
  </tr> 
  <tr> 
   <td align="center">purge_relay_logs</td> 
   <td>清除中继日志 (不会阻塞 SQL 线程)</td> 
  </tr> 
 </tbody> 
</table>

### 3.3、配置无密码访问 ###

//1、在 manager 上配置到所有数据库节点的无密码认证
    ssh-keygen -t rsa     //一路按回车键
    ssh-copy-id 192.168.220.136     按yes回车密码：123
    ssh-copy-id 192.168.220.164
    ssh-copy-id 192.168.220.159
    
    //2、在 master 上配置到数据库节点 slave1 和 slave2 的无密码认证
    ssh-keygen -t rsa     //一路按回车键
    ssh-copy-id 192.168.220.164   按yes回车密码：123
    ssh-copy-id 192.168.220.159
    
    //3、在 slave1 上配置到数据库节点 master 和slave2 的无密码认证
    ssh-keygen -t rsa     //一路按回车键
    ssh-copy-id 192.168.220.136   按yes回车密码：123
    ssh-copy-id 192.168.220.159
    
    //4、在 slave2 上配置到数据库节点 master 和 slave1 的无密码认证
    ssh-keygen -t rsa     //一路按回车键
    ssh-copy-id 192.168.220.136    按yes回车密码：123
    ssh-copy-id 192.168.220.164

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 7]

### 3.4、配置MHA ###

**1、在manager节点上复制相关脚本到/usr/local/bin 的目录**

cp -ra /root/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

**拷贝后会有四个执行文件：**

<table> 
 <thead> 
  <tr> 
   <th>master_ip_failover</th> 
   <th>自动切换时 VIP 管理的脚本</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master_ip_online_change</td> 
   <td>在线切换时 vip 的管理</td> 
  </tr> 
  <tr> 
   <td>power_manager</td> 
   <td>故障发生后关闭主机的脚本</td> 
  </tr> 
  <tr> 
   <td>send_report</td> 
   <td>因故障切换后发送报警的脚本</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 8]  
**2、复制上述的自动切换时VIP管理的脚本到/usr/local/bin 目录，这里使用脚本管理VIP**

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

重新编写master\_ip\_failover脚本，内容如下：

vim /usr/local/bin/master_ip_failover
    #!/usr/bin/env perl
    use strict;
    use warnings FATAL => 'all';
    
    use Getopt::Long;
    
    my (
    $command, $ssh_user, $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip, $new_master_port
    );
    #############################添加内容部分#########################################
    my $vip = '192.168.195.200';
    my $brdc = '192.168.195.255';
    my $ifdev = 'ens33';
    my $key = '1';
    my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
    my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
    my $exit_code = 0;
    #my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
    #my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
    ##################################################################################
    GetOptions(
    'command=s' => \$command,
    'ssh_user=s' => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s' => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s' => \$new_master_host,
    'new_master_ip=s' => \$new_master_ip,
    'new_master_port=i' => \$new_master_port,
    );
    
    exit &main();
    
    sub main { 
    
    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
    
    if ( $command eq "stop" || $command eq "stopssh" ) { 
    
    my $exit_code = 1;
    eval { 
    print "Disabling the VIP on old master: $orig_master_host \n";
    &stop_vip();
    $exit_code = 0;
    };
    if ($@) { 
    warn "Got Error: $@\n";
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "start" ) { 
    
    my $exit_code = 10;
    eval { 
    print "Enabling the VIP - $vip on the new master - $new_master_host \n";
    &start_vip();
    $exit_code = 0;
    };
    if ($@) { 
    warn $@;
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "status" ) { 
    print "Checking the Status of the script.. OK \n";
    exit 0;
    }
    else { 
    &usage();
    exit 1;
    }
    }
    sub start_vip() { 
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
    }
    # A simple system call that disable the VIP on the old_master
    sub stop_vip() { 
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
    }
    
    sub usage { 
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
    }

**注意：复制此脚本内容到脚本文件中，如果出现每一行多一个\#号，可以在行尾模式输入 :% s/\#/ 回车即可**

**3、创建 MHA 软件目录并拷贝配置文件**

mkdir /etc/masterha  #创建MHA目录
    #复制配置文件到新建的MHA目录下
    cp /root/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha  
    vim /etc/masterha/app1.cnf
    
    [server default]
    manager_workdir=/var/log/masterha/app1
    manager_log=/var/log/masterha/app1/manager.log
    master_binlog_dir=/usr/local/mysql/data
    master_ip_failover_script=/usr/local/bin/master_ip_failover
    master_ip_online_change_script=/usr/local/bin/master_ip_online_change
    password=manager
    remote_workdir=/tmp
    repl_password=123
    repl_user=myslave
    secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.220.164 -s 192.168.220.159
    shutdown_script=""
    ssh_user=root
    user=mha
    
    [server1]
    hostname=192.168.220.136
    port=3306
    
    [server2]
    candidate_master=1
    check_repl_delay=0
    hostname=192.168.220.164
    port=3306
    
    [server3]
    hostname=192.168.220.159
    port=3306

**4、在 manager服务器上测试ssh无密码认证，如果正常，最后会输出 successfully。**

masterha_check_ssh -conf=/etc/masterha/app1.cnf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 9]  
**检查健康状况**

masterha_check_repl -conf=/etc/masterha/app1.cnf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 10]  
**5、在master上手动开启虚拟IP**

/sbin/ifconfig ens33:1 192.168.220.200/24

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 11]  
**6、启动MHA**

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

**7、查看MHA状态，可以看到当前的 master 是Mysqll 节点**

masterha_check_status --conf=/etc/masterha/app1.cnf

![在这里插入图片描述][20200112072753881.png]  
**也可以通过查看MHA日志，显示当前的master 是192.168.220.136**

cat /var/log/masterha/app1/manager.log

### 3.5、故障模拟 ###

**1、在manager节点上启用监控观察日志记录。**

tailf /var/log/masterha/app1/manager.log

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 12]  
**2、在master上关闭mysql。**

systemctl stop mysql

**可以看到从库的状态，vip会切换到其中之一的从库上。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 13]

[Mysql5.7]: https://blog.csdn.net/qq_28361541/article/details/103664210
[20200110143644884.png]: https://img-blog.csdnimg.cn/20200110143644884.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200110145510136.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200110145749500.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200110150126955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200109090618768.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[20200110151502168.png]: https://img-blog.csdnimg.cn/20200110151502168.png
[2020011015192472.png]: https://img-blog.csdnimg.cn/2020011015192472.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200110151819969.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[20200110152150757.png]: https://img-blog.csdnimg.cn/20200110152150757.png
[20200110152500555.png]: https://img-blog.csdnimg.cn/20200110152500555.png
[20200110152701587.png]: https://img-blog.csdnimg.cn/20200110152701587.png
[20200110154434995.png]: https://img-blog.csdnimg.cn/20200110154434995.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200110154625562.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200110161835388.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200110162204848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020011016364490.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200110170448535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200112071943857.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200112072238873.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[20200112072753881.png]: https://img-blog.csdnimg.cn/20200112072753881.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200112074448870.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200112111252191.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MzYxNTQx,size_16,color_FFFFFF,t_70