MySQL 运维 - MHA高可用集群部署 | 故障切换 | 超详细

港控/mmm° 2023-01-15 13:24 454阅读 0赞

### MySQL 运维 - MHA高可用集群部署 ###

*  一、MHA概述
 *  二、MHA的组成
 *  三、故障场景
 *  四、开始部署
 *   *  1.修改配置文件
     *  2.配置一主两从
     *   *  2.1 查看主服务器状态
     *  3.配置Slave主服务器信息
     *   *  3.1 测试主从复制
     *  4.安装MHA
     *  5.配置无密码认证
     *  6.配置 MHA
     *  7.启动MHA
     *  8.测试
     *   *  8.1 查看当前Master节点是谁
         *  8.2 manager服务器上启用监控观察日志
         *  8.3 客户机通过虚拟IP登录数据库
         *  8.4 模拟故障查看Master变化
     *  9. 故障修复步骤
     *   *  9.1 修复MySQL
         *  9.2 修复主从

# 一、MHA概述 #

`HHA`可以实现单点故障切换和主从复制\[0到30秒内自动完成故障切换\]当主服务器挂掉后备用的就会顶替，为抢救主服务器争取时间  
故障自动切换的过程中，`MHA`会试图从宕机的`Master`上保存二进制日志最大程度的保证数据不丢失，并采用半同步复制，可以大大降低数据丢失的风险，如果只有一个`slave`已经收到了最新的二进制日志，`MHA`就可以将最新的二进制日志应用于其他所有的`slave`服务器上，因此也可以保证所有节点的数据一致性

# 二、MHA的组成 #

**MHA Node数据节点**  
运行在每台`MySQL`服务器上  
**MHA Manager管理节点**  
可以单独部署在一台独立的机器上或一台`slave`节点上并管理多个`master-slave`集群  
它会不定期对集群中的`master`节点巡检，当发现`master`出现故障，可以自动将最小数据的  
`slave`提升为新的`master`，然后将所有其他的slave重写指向新的`master`

# 三、故障场景 #

虽然做了主从负载均衡但是无法实现高可用  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70][]

# 四、开始部署 #

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CentOS 7-5</td> 
   <td>MHAmanager</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.50</td> 
   <td>MHAnode组件、MHAmanager组件</td> 
  </tr> 
  <tr> 
   <td>CentOS 7-1</td> 
   <td>MySQL1</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.10</td> 
   <td>mysql-server、MHAnode组件</td> 
  </tr> 
  <tr> 
   <td>CentOS 7-2</td> 
   <td>MySQL2</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.20</td> 
   <td>mysql-server、MHAnode组件</td> 
  </tr> 
  <tr> 
   <td>CengOS 7-3</td> 
   <td>MySQL3</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.30</td> 
   <td>mysql-server、MHAnode组件</td> 
  </tr> 
 </tbody> 
</table>

## 1.修改配置文件 ##

修改三台`MySQL`的主配置文件  
**Master主机**

vim /etc/my.cnf
    
    [mysqld]
    server-id = 10
    log_bin = master-bin
    log-slave-updates = true
    
    systemctl restart mysqld
    
    ln -s /usr/local/mysql/bin/mysql /usr/sbin/
    ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
    #创建 mysql 命令与 mysql 日志文件的软链接，便于系统识别

**Slave主机**

server-id = 20
    #server-id = 30 Slave2
    log_bin = master-bin
    relay-log = relay-log-bin
    relay-log-index = slave-relay-bin.index
    
    systemctl restart mysqld
    
    ln -s /usr/local/mysql/bin/mysql /usr/sbin/
    ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

## 2.配置一主两从 ##

> 对所有的MySQL服务器进行授权

mysql -uroot -p
    
    #允许192.168.0的网段都可以进行从服务器的复制操作
    grant replication slave on *.* to 'myslave'@'192.168.0.%' identified by '123456';
    #允许用户fox对192.168.0网段内所有数据库执行任何操作
    grant all privileges on *.* to 'fox'@'192.168.0.%' identified by '123456';
    
    grant all privileges on *.* to 'fox'@'mysql1' identified by '123456';
    grant all privileges on *.* to 'fox'@'mysql2' identified by '123456';
    grant all privileges on *.* to 'fox'@'mysql3' identified by '123456';
    
    flush privileges;

### 2.1 查看主服务器状态 ###

#二进制和偏移量一定要记住
    show master status;

![20210423140919227.png][]

## 3.配置Slave主服务器信息 ##

change master to master_host='192.168.0.10',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1743;
    
    start slave;
    
    show slave status\G

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1][]

### 3.1 测试主从复制 ###

**Master**

create database bbs;

![20210423141640647.png][]  
**Slaves**

show databses;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 2][]

## 4.安装MHA ##

所有服务器都安装MHA和EPEL

yum install epel-release --nogpgcheck -y
    
    yum install -y perl-DBD-MySQL \
    perl-Config-Tiny \
    perl-Log-Dispatch \
    perl-Parallel-ForkManager \
    perl-ExtUtils-CBuilder \
    perl-ExtUtils-MakeMaker \
    perl-CPAN

所有服务器都安装node组件  
[Node和Manager下载][Node_Manager]\[提取码：qwer\]

cd /opt
    
    tar zxvf mha4mysql-node-0.57.tar.gz
    cd mha4mysql-node-0.57
    perl Makefile.PL
    
    make && make install

在 MHA manager 节点上安装 manager 组件

tar zxvf mha4mysql-manager-0.57.tar.gz
    cd mha4mysql-manager-0.57
    perl Makefile.PL
    
    make && make install

manager 组件安装后会在 /usr/local/bin 下面会生成以下几个工具

<table> 
 <thead> 
  <tr> 
   <th>masterha_check_ssh</th> 
   <th>检查 MHA 的 SSH 配置状况</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>masterha_check_repl</td> 
   <td>检查 MySQL 复制状况</td> 
  </tr> 
  <tr> 
   <td>masterha_manger 启动</td> 
   <td>manager的脚本</td> 
  </tr> 
  <tr> 
   <td>masterha_check_status</td> 
   <td>检测当前 MHA 运行状态</td> 
  </tr> 
  <tr> 
   <td>masterha_master_monitor</td> 
   <td>检测 master 是否宕机</td> 
  </tr> 
  <tr> 
   <td>masterha_master_switch</td> 
   <td>控制故障转移（自动或者手动）</td> 
  </tr> 
  <tr> 
   <td>masterha_conf_host</td> 
   <td>添加或删除配置的 server 信息</td> 
  </tr> 
  <tr> 
   <td>masterha_stop</td> 
   <td>关闭manager</td> 
  </tr> 
 </tbody> 
</table>

node 组件安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）

<table> 
 <thead> 
  <tr> 
   <th>save_binary_logs</th> 
   <th>保存和复制 master 的二进制日志</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>apply_diff_relay_logs</td> 
   <td>识别差异的中继日志事件并将其差异的事件应用于其他的 slave</td> 
  </tr> 
  <tr> 
   <td>filter_mysqlbinlog</td> 
   <td>去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）</td> 
  </tr> 
  <tr> 
   <td>purge_relay_logs</td> 
   <td>清除中继日志（不会阻塞 SQL 线程）</td> 
  </tr> 
 </tbody> 
</table>

## 5.配置无密码认证 ##

在 manager 节点上配置到所有数据库节点的无密码认证

ssh-keygen -t rsa
    #为当前用户创建密钥对，“-t”指定加密算法“rsa”
    
    ssh-copy-id 192.168.0.10
    ssh-copy-id 192.168.0.20
    ssh-copy-id 192.168.0.30
    #将公钥导入所有 MySQL 服务器，后续输入 yes 及 MySQL 数据库登录密码122

![20210423150403539.png][]  
![20210423150415642.png][]  
![20210423150429449.png][]  
在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.0.20
    ssh-copy-id 192.168.0.30

在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.0.10
    ssh-copy-id 192.168.0.30

在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.0.10
    ssh-copy-id 192.168.0.20

## 6.配置 MHA ##

在 manager 节点上复制相关脚本到 /usr/local/bin 目录

cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
    
    #复制后会有四个执行文件
    ll /usr/local/bin/scripts/

<table> 
 <thead> 
  <tr> 
   <th>master_ip_failover</th> 
   <th>自动切换时 VIP 管理的脚本</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master_ip_online_change</td> 
   <td>在线切换时 vip 的管理</td> 
  </tr> 
  <tr> 
   <td>power_manager</td> 
   <td>故障发生后关闭主机的脚本</td> 
  </tr> 
  <tr> 
   <td>send_report</td> 
   <td>因故障切换后发送报警的脚本</td> 
  </tr> 
 </tbody> 
</table>

复制master\_ip\_failover到/usr/local/bin目录

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

删除原文件内容将故障转移复制进去

vim /usr/local/bin/master_ip_failover
    
    #!/usr/bin/env perl
    use strict;
    use warnings FATAL => 'all';
    
    use Getopt::Long;
    
    my (
    $command, $ssh_user, $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip, $new_master_port
    );
    #############################添加内容部分#########################################
    my $vip = '192.168.0.100';								    #指定虚拟IP的地址
    my $brdc = '192.168.0.255';								    #指定虚拟IP的广播地址
    my $ifdev = 'ens33';										#指定虚拟IP绑定的网卡
    my $key = '1';												#指定虚拟IP绑定的虚拟网卡序列号
    my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";		#代表此变量值为ifconfig ens33:1 192.168.126.200
    my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";		#代表此变量值为ifconfig ens33:1 192.168.126.200 down
    my $exit_code = 0;											#指定退出状态码为0
    #my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
    #my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
    ##################################################################################
    GetOptions(
    'command=s' => \$command,
    'ssh_user=s' => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s' => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s' => \$new_master_host,
    'new_master_ip=s' => \$new_master_ip,
    'new_master_port=i' => \$new_master_port,
    );
    
    exit &main();
    
    sub main {
        
    
    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
    
    if ( $command eq "stop" || $command eq "stopssh" ) {
        
    
    my $exit_code = 1;
    eval {
        
    print "Disabling the VIP on old master: $orig_master_host \n";
    &stop_vip();
    $exit_code = 0;
    };
    if ($@) {
        
    warn "Got Error: $@\n";
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "start" ) {
        
    
    my $exit_code = 10;
    eval {
        
    print "Enabling the VIP - $vip on the new master - $new_master_host \n";
    &start_vip();
    $exit_code = 0;
    };
    if ($@) {
        
    warn $@;
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        
    print "Checking the Status of the script.. OK \n";
    exit 0;
    }
    else {
        
    &usage();
    exit 1;
    }
    }
    sub start_vip() {
        
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
    }
    ## A simple system call that disable the VIP on the old_master
    sub stop_vip() {
        
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
    }
    
    sub usage {
        
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
    }

创建MHA软件目录并拷贝配置文件

mkdir /etc/masterha
    cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
    
    vim /etc/masterha/app1.cnf
    
    #manager工作目录
    manager_log=/var/log/masterha/app1/manager.log
    
    #manager日志
    manager_workdir=/var/log/masterha/app1
    
    #master保存binlog的位置，这里的路径要于master里配置的binlog（相同？）
    master_binlog_dir=/usr/local/mysql/data
    
    #设置自动failover时候切换脚本，也就是上一个配置的脚本
    master_ip_failover_script=/usr/local/bin/master_ip_failover
    
    #设置手动切换时候的切换脚本
    master_ip_online_change_script=/usr/local/bin/master_ip_online_change
    
    #此处密码为之前创建监控用户的密码
    password=123456
    
    #设置监控用户
    user=fox
    
    #设置监控主库，发送ping包的事件间隔，默认为3秒，尝试三次没有回应的时候自动进性failover
    ping_interval=1
    
    #设置远端的MySQL在发生切换时binlog的（临时）保存位置
    remote_workdir=/tmp
    
    #设置复制（slaves）用户的密码
    repl_password=123456
    
    #设置复制用户的账户
    repl_user=myslave
    
    #设置发生切换后发送的报警的脚本
    report_script=/usr/local/send_report
    
    #设置检查从服务器的脚本
    secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.0.20 -s 192.168.0.30
    
    #设置故障发生后关闭故障主机脚本
    shutdown_script=""
    
    #设置ssh的登录用户名
    ssh_user=root
    
    [server2]
    #设置候选master，如果设置了此参数，发生主从切换后，会将此库提升为主库
    candidate_master=1
    #支持复制的检查，默认情况下如果一个slave落后master 100M的relay logs（中继日志）的话，
    MHA将不会选择该slave作为新的master，设置为0的话会忽略此规则
    check_repl_delay=0
    
    hostname=192.168.0.20
    port=3306

测试无密码认证，如果正常会输出successfully

masterha_check_ssh -conf=/etc/masterha/app1.cnf

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 3][]  
测试主从复制

masterha_check_repl -conf=/etc/masterha/app1.cnf

![20210423161702989.png][]

## 7.启动MHA ##

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

![20210423162254689.png][]

## 8.测试 ##

### 8.1 查看当前Master节点是谁 ###

masterha_check_status --conf=/etc/masterha/app1.cnf

![20210423162631928.png][]

### 8.2 manager服务器上启用监控观察日志 ###

tailf /var/log/masterha/app1/manager.log

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 4][]

### 8.3 客户机通过虚拟IP登录数据库 ###

mysql -ufox -p -h 192.168.0.100

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 5][]

### 8.4 模拟故障查看Master变化 ###

在Master杀死MySQL

pkill -9 mysql

![20210423163253230.png][]  
再次查看 manager 节点监控观察日志记录，可以看到，master 已宕机，该 master 节点失效，选择了 Slave1 作为新的 master 节点

tailf /var/log/masterha/app1/manager.log

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 6][]

**故障切换备选主库的算法**

*  一般判断从库是从（position/GTID)判断优劣，数据有差异，最接近于master的slave，称为备选主
 *  数据一致的情况下，按照配置文件顺序选择备选主库
 *  设定有权重（candidate\_master=1)，按照权重强制指定备选主

> 默认情况下，如果一个slave落后master 100M的relay logs(中继日志）的话，即使有权重，也会失效  
> 如果check\_repl\_delay=0的话，即使落后很多日志，也强制选择其为备选主

## 9. 故障修复步骤 ##

### 9.1 修复MySQL ###

systemctl restart mysqld

### 9.2 修复主从 ###

在现Master的Slave1上查看二进制日志和同步点

show master status;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 7][]  
在原Master上进行同样操作  
![20210423165426425.png][]  
在原Master上执行同步操作

change master to master_host='192.168.0.20',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1743;
    
    start slave;
    
    show slave status\G

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 8][]  
在 manager 节点上修改配置文件app1.cnf  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 9][]  
启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

![20210423172911710.png][]  
在Master创建一个数据库进行测试

create database test;

![20210423173222436.png][]  
在原Master中查看  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 10][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70]: /images/20221022/2d00b0b87896405f9d3fec59cf99d226.png
[20210423140919227.png]: /images/20221022/fa642d550a0d4b1aa86ad2c75fffc0b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1]: /images/20221022/1f9ae52bd0e7497fb71e0fa7c8b18faa.png
[20210423141640647.png]: /images/20221022/2b07819c22c84036b27824f53a0f703e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 2]: /images/20221022/7e9defc7f02f4f07ba5249a4285314c2.png
[Node_Manager]: https://pan.baidu.com/share/init?surl=8Sq7qS-lH0cVn91X2LBlPA
[20210423150403539.png]: /images/20221022/5655536f93e6465d9c35ab7fe6f9d718.png
[20210423150415642.png]: /images/20221022/9e62ecc6c10945fdb32d2234e8a5c79f.png
[20210423150429449.png]: /images/20221022/a9383940ce014c178ee76033de1b6896.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 3]: /images/20221022/b7c20293750b4fad8b271d32f6e2452e.png
[20210423161702989.png]: /images/20221022/908768decca54e85b125920328835501.png
[20210423162254689.png]: /images/20221022/50149a29013746ac8f87c85b787f8502.png
[20210423162631928.png]: /images/20221022/595e007b1c96461ba2d9c6edbbb4c5a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 4]: /images/20221022/74dc6966d66e4271b3dea0350ebe6f6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 5]: /images/20221022/e99c2d2f427e4d7a865d514f2f6976ac.png
[20210423163253230.png]: /images/20221022/240f4c6cda5f4eb398206bcd6d48895c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 6]: /images/20221022/0732f5c8dd33497b959ff166314863d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 7]: /images/20221022/c56c85f9f193413cb0b752c5658e5d9e.png
[20210423165426425.png]: /images/20221022/9c6fc2180cbf47bba8ec3a247317b95c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 8]: /images/20221022/d318d715aec74d5c85e0d94bbe36b1e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 9]: /images/20221022/d1102f3ea4f74c1f8450b18a0ac22fd2.png
[20210423172911710.png]: /images/20221022/eb1193a208b2496f8aab62fde09efe27.png
[20210423173222436.png]: /images/20221022/edfb505cad154644ad92f60a91d23ff1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 10]: /images/20221022/82aa49b88af843a689a5c7fc02273404.png