LVS_负载均衡集群(NAT模式）

约定不等于承诺〃 2021-07-26 11:07 449阅读 0赞

### Lvs\_负载均衡集群 ###

*  一.群集
 *   *  1.群集的含义
     *  2.集群的存在
     *  二.集群的分类
     *   *  1）负载均衡集群
         *  2）高可用集群
         *  3）高性能运算集群
         *  三.负载均衡群集架构
         *  1.负载均衡的结构
         *  1）第一层：负载调度器
         *  2）第二层：服务器池
         *  3）第三层：共享存储
     *  2.负载均衡群集工作模式分析
     *   *  1）NAT模式：地址转换
         *  2）TUN模式：IP隧道
         *  3）DR模式：直接路由
         *  三种工作模式的区别：
         *  四.Lvs虚拟服务器
         *   *  1.IPVSADM
         *  1）
         *  2）
     *  2.Lvs负载调度算法
     *  1)轮询
     *  2）加权轮询
     *  3）最小连接
     *  4）加权最小连接
     *   *  五.LVS负载均衡NAT模式集群部署
     *  环境配置：
     *  1.部署共享存储
     *   *  2. 配置节点服务器
         *  3.配置负载调度器
         *  1)配置SNAT 转发规则
     *  2）加载Lvs内核模块
     *  3）安装ipvsadm管理工具
     *   *  4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）
     *  4.测试效果
     *   *  总结：
         *   *  负载均衡架构：
             *  负载均衡群集工作模式：
             *  调度算法：

# 一.群集 #

## 1.群集的含义 ##

*  Cluster,集群、群集
    
        由多台主机构成，但对外只表现为一个整体
          只提供一个访问入口（域名或IP）相当于一台大型计算机

## 2.集群的存在 ##

*  存在的问题：  
    互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器无法满足负载均衡及高可用的需求
 *  解决方法：  
    方法一：使用价格昂贵的小型机、大型机。（花费高）  
    方法二：使用多台相对廉价的普通服务器构建服务群集。（花费低）

## 二.集群的分类 ##

*  负载均衡集群
 *  高可用集群
 *  高性能运算集群

### 1）负载均衡集群 ###

提高应用系统的响应能力、尽可能处理更多的访问请求
     减少延迟为目标，获得高并发、高负载的整体性能
     高负载(LB)的负载分配依赖于主节点的分流算法

### 2）高可用集群 ###

提高应用系统的可靠性、尽可能地减少中断时间为目标
       确保服务的连续性，达到高可用(HA)的容错效果
       HA的工作方式包括双工和主从两种模式

### 3）高性能运算集群 ###

提高应用系统的cpu运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力
       高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器cpu、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力

### 三.负载均衡群集架构 ###

### 1.负载均衡的结构 ###

### 1）第一层：负载调度器 ###

*      企业构架中前端部分
        接受客户请求、请求分发给资源池
        对外，由调度器作为统一接受入口
        对内，按照分流算法分发流量/请求给服务器池

### 2）第二层：服务器池 ###

等待调度器分配任务
      服务器池接收、响应/处理负载调度的任务

### 3）第三层：共享存储 ###

给与前端负载调度/服务器池提供存储空间
    为服务器提供存储空间

## 2.负载均衡群集工作模式分析 ##

*  负载均衡群集是目前企业用得最多的群集类型
 *  群集的负载调度技术由三种工作模式：

### 1）NAT模式：地址转换 ###

Network Address Translation，简称NAT模式
    类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
    服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

### 2）TUN模式：IP隧道 ###

IP Tunnel,简称TUN模式
    采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
    服务器节点分散在互联网中的不同位置,具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

### 3）DR模式：直接路由 ###

Direct Routing，简称DR模式
    采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
    负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

### 三种工作模式的区别： ###

<table> 
 <thead> 
  <tr> 
   <th>工作模式</th> 
   <th>NAT</th> 
   <th>TUN模式</th> 
   <th>DR模式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>real server（节点服务器</td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>server number(节点数量）</td> 
   <td>low 10-20</td> 
   <td>High 100</td> 
   <td>High 100</td> 
  </tr> 
  <tr> 
   <td>真实网关</td> 
   <td>负载调度器</td> 
   <td>自由路由器</td> 
   <td>自由路由器</td> 
  </tr> 
  <tr> 
   <td>IP地址</td> 
   <td>公网+私网</td> 
   <td>公网</td> 
   <td>私网</td> 
  </tr> 
  <tr> 
   <td>优点</td> 
   <td>安全性高</td> 
   <td>安全速度快</td> 
   <td>性能最好</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>效率低、压力大</td> 
   <td>需要隧道支持</td> 
   <td>不能跨越lan(局域网）</td> 
  </tr> 
 </tbody> 
</table>

### 四.Lvs虚拟服务器 ###

#### 1.IPVSADM ####

linux内核默认支持LVS，需要使用LVS的能力，
     只需要安装一个LVS的管理工具：ipvsadm

Lvs的结构主要分为两个部分：

### 1） ###

工作在内核空间的IPVS模块，LVS的能力实际上都是IVPS模块实现

### 2） ###

工作在用户空间的ipvsadm管理工具，其作用是向用户提供一个命令接口，用于将配置的虚拟服务、真实服务等传给IPVS模块

ipvsadm工具选项说明：

<table> 
 <thead> 
  <tr> 
   <th>-A</th> 
   <th>添加虚拟服务器</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-D</td> 
   <td>删除整个虚拟服务器</td> 
  </tr> 
  <tr> 
   <td>-S</td> 
   <td>指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc)</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>表示添加真实服务器（节点服务器）</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>删除某一个节点</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>指定 VIP地址及 TCP端口</td> 
  </tr> 
  <tr> 
   <td>-r</td> 
   <td>指定 RIP地址及 TCP端口</td> 
  </tr> 
  <tr> 
   <td>-m</td> 
   <td>表示使用 NAT群集模式</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>表示使用 DR模式</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>表示使用 TUN模式</td> 
  </tr> 
  <tr> 
   <td>-w</td> 
   <td>设置权重（权重为 0 时表示暂停节点）</td> 
  </tr> 
  <tr> 
   <td>-p 60</td> 
   <td>表示保持长连接60秒</td> 
  </tr> 
  <tr> 
   <td>-l</td> 
   <td>列表查看 LVS 虚拟服务器（默认为查看所有）</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>以数字形式显示地址、端口等信息，常与“-l”选项组合使用。ipvsadm -ln</td> 
  </tr> 
 </tbody> 
</table>

## 2.Lvs负载调度算法 ##

## 1)轮询 ##

将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ，
     而不管服务器实际的连接数和系统负载

## 2）加权轮询 ##

根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多
    保证性能强的服务器承担更多的访问流量

## 3）最小连接 ##

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

## 4）加权最小连接 ##

在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
    性能较高的节点将承担更大比例的活动连接负载

### 五.LVS负载均衡NAT模式集群部署 ###

*  LVS调度器作为Web 服务器池的网关，LVS具有两块网卡，分别连接内外网，使用轮询（rr）调度算法

## 环境配置： ##

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP地址</th> 
   <th>所需服务</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>lvs负载调度器</td> 
   <td>centos7</td> 
   <td>内网关：192.168.133.10 外网关：12.0.0.1</td> 
   <td>ipvsadm</td> 
  </tr> 
  <tr> 
   <td>NFS服务器</td> 
   <td>centos7</td> 
   <td>192.168.133.20</td> 
   <td>rpcbind、nfs-utils</td> 
  </tr> 
  <tr> 
   <td>Web节点服务器1</td> 
   <td>centos7</td> 
   <td>192.168.133.30</td> 
   <td>rpcbind、nfs-utils、httpd</td> 
  </tr> 
  <tr> 
   <td>Web节点服务器2</td> 
   <td>centos7</td> 
   <td>192.168.133.40</td> 
   <td>rpcbind、nfs-utils、httpd</td> 
  </tr> 
  <tr> 
   <td>客户端</td> 
   <td>win10</td> 
   <td>12.0.0.1</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 1.部署共享存储 ##

NFS服务器：192.168.133.20

systemctl stop firewalld.service
    systemctl disable firewalld.service
    setenforce 0
    
    yum -y install nfs-utils rpcbind
    
    systemctl start rpcbind.service
    systemctl start nfs.service
    
    systemctl enable nfs.service
    systemctl enable rpcbind.service
    
    mkdir /opt/lic
    mkdir /opt/kiki
    
    chmod 777 /opt/lic 
    chmod 777 /opt/kiki
    
    vim /etc/exports
    /usr/share *(ro,sync)
    /opt/lic 192.168.184.0/24(rw,sync)
    /opt/kiki 192.168.184.0/24(rw,sync)
    
    exportfs -rv

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][20210424154831406.png_pic_center]  
![在这里插入图片描述][20210424155019939.png_pic_center]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]

### 2. 配置节点服务器 ###

web节点服务器1：192.168.133.30  
web节点服务器2：192.168.133.40

systemctl stop firewalld.service
    systemctl disable firewalld.service
    setenforce 0
    
    yum install httpd -y
    systemctl start httpd.service
    systemctl enable httpd.service
    
    yum -y install nfs-utils rpcbind
    
    systemctl start rpcbind
    systemctl enable rpcbind
    
    showmount -e 192.168.133.20

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]

Web节点服务器1：192.168.133.30：

mount.nfs 192.168.133.20:/opt/test1 /var/www/html
    echo 'this is test1 web!' > /var/www/html/index.html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]

![在这里插入图片描述][20210424230737866.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]![在这里插入图片描述][2021042423092537.png_pic_center]

Web节点服务器2：192.168.133.40：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][20210424230958579.png_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][2021042423111891.png_pic_center]

### 3.配置负载调度器 ###

*  负载调度器：内网关 ens33：192.168.133.10，外网关 ens36：12.0.0.1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 12]![在这里插入图片描述][2021042422152866.png_pic_center]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 13]

![在这里插入图片描述][20210424221631818.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 14]  
![在这里插入图片描述][20210424221911875.png_pic_center]

systemctl stop firewalld.service
    systemctl disable firewalld.service
    setenforce 0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 15]

### 1)配置SNAT 转发规则 ###

vim /etc/sysctl.conf
    net.ipv4.ip_forward = 1
    或
    echo '1' > /proc/sys/net/ipv4/ip_forward
    sysctl -p
    
    iptables -t nat -F
    iptables -F
    iptables -t nat -A POSTROUTING -s 192.168.133.0/24 -o ens36 -j SNAT --to-source 12.0.0.1

![在这里插入图片描述][20210424222407308.png_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 17]

## 2）加载Lvs内核模块 ##

#加载 ip_vs模块
    modprobe ip_vs
    #查看 ip_vs版本信息
    cat /proc/net/ip_vs

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 18]

## 3）安装ipvsadm管理工具 ##

yum -y install ipvsadm
    
    #启动服务前须保存负载分配策略
    ipvsadm-save > /etc/sysconfig/ipvsadm
    或
    ipvsadm --save > /etc/sysconfig/ipvsadm
    
    systemctl start ipvsadm.service

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 19]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 20]

### 4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置） ###

#清除原有策略
    ipvsadm -C
    
    ipvsadm -A -t 12.0.0.1:80 -s rr
    ipvsadm -a -t 12.0.0.1:80 -r 192.168.133.30:80 -m
    ipvsadm -a -t 12.0.0.1:80 -r 192.168.133.40:80 -m
    #启用策略
    ipvsadm
    
    #查看节点状态，Masq代表 NAT模式
    ipvsadm -ln
    #保存策略
    ipvsadm-save > /etc/sysconfig/ipvsadm

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 21]

## 4.测试效果 ##

在一台IP为12.0.0.10的客户机使用浏览器访问 http://12.0.0.1/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 22]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 23]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 24]

### 总结： ###

Lvs:linux虚拟服务器，
     通过lvs达到负载均衡技术、
     和linux操作系统实现高性能高可用的linux服务器群集

*  群集：多台主机组成，对外表现为整体
 *  群集分类：①负载均衡集群：分压，提高服务器性能、提高用户体验感  
    ②高可用集群：冗余、解决单点故障、备份  
    ③高性能运算集群：读写分离

#### 负载均衡架构： ####

①：负载调度器：接收请求、请求分发资源池  
②：服务器池：等待调度器任务，处理负载任务  
③：共享存储：为调度器、服务器池提供存储空间

#### 负载均衡群集工作模式： ####

①：NAT：出入都经过负载调度器，后端服务器内网  
②：IP隧道：服务器公网，访问进来会经过调度器，出去不会经过(耗费资金大）  
③：DR：服务器本地网络，通过路由器对接响应。访问进来通过负载调度器

#### 调度算法： ####

①轮询：轮流分配给集群  
②加权轮询：设置权重值来分发请求  
③最小连接：分配给连接数最小的节点  
④加权最少连接：最小连接为基础，会调整权重值

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]: /images/20210726/38cb110da9f94cd6b6a334779e4773d5.png
[20210424154831406.png_pic_center]: /images/20210726/631042852d574134ab40c5932ca4b1ea.png
[20210424155019939.png_pic_center]: https://img-blog.csdnimg.cn/20210424155019939.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20210726/dbe74c3a2af94c11baa54e597ebcbfae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20210726/6d5300a928f14395a45c8bd2a45f1040.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20210726/34ba9565414a496791ddcde798d365f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20210726/57df681ac2eb4846902d771f57352bd2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20210726/616314a6df0a482c87d361f80c044219.png
[20210424230737866.png_pic_center]: /images/20210726/d251bbd7d9d047b9b0fb9518e6909e42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20210424230856663.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp,size_16,color_FFFFFF,t_70#pic_center
[2021042423092537.png_pic_center]: /images/20210726/3b48dc0949d54d2abceda04fc9524eaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20210726/334286d549e44e5da35de7e26ad8bfc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20210726/15feac66da254752ba084638cbaa9346.png
[20210424230958579.png_pic_center]: /images/20210726/b3e4cf7562104173bb80e26f861462fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20210726/1485884d52264536977f13d9b50f6bc3.png
[2021042423111891.png_pic_center]: /images/20210726/fbb9f5caf5f54a90ab8ffe94f159a1d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20210726/4f2cfecb548f424481d0ad6525ebf516.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20210726/11d277f81a8349f9831dacc04a95c070.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 12]: https://img-blog.csdnimg.cn/20210424221305647.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp,size_16,color_FFFFFF,t_70#pic_center
[2021042422152866.png_pic_center]: https://img-blog.csdnimg.cn/2021042422152866.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20210726/69abc27e907b446faeaf38f8155e7034.png
[20210424221631818.png_pic_center]: /images/20210726/07303a68cfe04873a66289ea0adeab08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20210726/e734928405874cc28a600f0ea7177509.png
[20210424221911875.png_pic_center]: /images/20210726/f4d48790fa3b42f4aacc0a15c96d9765.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20210726/03cdfb4d77ff44afa0d345606e506b04.png
[20210424222407308.png_pic_center]: /images/20210726/f6bfed6807134e80af12d7a87f4f872b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20210726/5c29473d8ebf475d831af18817f05015.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20210726/4b37d06015d248a1a21e8fe1ad7546a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20210726/eb7754cb88f64d139f06fe394ab75571.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 19]: /images/20210726/9912e0c354d947e69bac117695d9ee1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 20]: /images/20210726/be6f8bc20a8e40b388897e6244cd7bed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 21]: /images/20210726/c8dbe11f4b1a465e94779ecefd1a3585.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 22]: /images/20210726/2d6d006b91f04c9eaae0cf4fad80c6fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 23]: /images/20210726/60bb2861701e41429e11c0202885a494.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 24]: /images/20210726/6f7b5eb944474d89a335d8baa709bf80.png