Nginx系列教程（14） - LVS+KeepAlived+Nginx实现高性能负载均衡集群

悠悠 2022-12-21 04:51 55阅读 0赞

阅读本文前，先看看Nginx的主从热备原理图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70]

## **1. 基础概念** ##

### **1.1 LVS** ###

**LVS** 是一个开源的软件，可以实现传输层四层负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。

*  目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；
 *  八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）;

### **1.2 Lvs与Nginx区别** ###

LVS的负载能力强，因为其工作方式逻辑非常简单，仅进行请求分发，而且工作在网络的第4层，没有流量，所以其效率不需要有过多的忧虑。

LVS基本能支持所有应用，因为工作在第4层，所以LVS可以对几乎所有应用进行负载均衡，包括Web、数据库等。

注意：LVS并不能完全判别节点故障，比如在WLC规则下，如果集群里有一个节点没有配置VIP，将会导致整个集群不能使用。还有一些其他问题，目前尚需进一步测试。

Nginx工作在网路第7层，所以可以对HTTP应用实施分流策略，比如域名、结构等。相比之下，LVS并不具备这样的功能，所以Nginx可使用的场合远多于LVS。并且Nginx对网络的依赖比较小，理论上只要Ping得通，网页访问正常就能连通。LVS比较依赖网络环境。只有使用DR模式且服务器在同一网段内分流，效果才能得到保证。

Nginx可以通过服务器处理网页返回的状态吗、超时等来检测服务器内部的故障，并会把返回错误的请求重新发送到另一个节点。目前LVS和LDirectd 也支持对服务器内部情况的监控，但不能重新发送请求。

比如用户正在上传一个文件，而处理该上传信息的节点刚好出现故障，则Nginx会把上传请求重新发送到另一台服务器，而LVS在这种情况下会直接断掉。Nginx还能支持HTTP和Email（Email功能很少有人使用），LVS所支持的应用在这个电商比Nginx更多。

Nginx同样能承受很高负载并且能稳定运行，由于处理流量受限于机器I/O等配置，所以负载能力相对较差。

Nginx 安装、配置及测试相对来说比较简单，因为有相应的错误日志进行提示。LVS的安装、配置及测试所花的时间比较长，因为LVS对网络以来比较大，很多时候有可能因为网络问题而配置不能成功，出现问题时，解决的难度也相对较大。Nginx本身没有现成的热备方案，所以在单机上运行风险较大，建议KeepAlived配合使用。另外，Nginx可以作为LVS的节点机器使用，充分利用Nginx的功能和性能。当然这种情况也可以直接使用Squid等其他具备分发功能的软件。

具体应用具体分析。如果是比较小型的网站（每日PV小于100万），用户Nginx就完全可以应对，如果机器也不少，可以用DNS轮询。LVS后用的机器较多，在构建大型网站或者提供重要服务且机器较多时，可多加考虑利用LVS。

注意：[阿里云默认不支持虚拟VIP技术][VIP]

### **1.3 KeepAlived** ###

**LVS** 可以实现负载均衡，但是不能够进行健康检查，比如一个rs出现故障，LVS 仍然会把请求转发给故障的rs服务器，这样就会导致请求的无效性。

**KeepAlived** 软件可以进行健康检查，而且能同时实现 LVS 的高可用性，解决 LVS 单点故障的问题，其实 KeepAlive 就是为 LVS 而生的。它是一个类似于Layer2,4,7交换机制的软件。是Linux集群管理中保证集群高可用的一个服务软件，其功能是用来防止单点故障。

**keepalived工作原理**

**KeepAlived** 是基于`VRRP协议`实现的保证集群高可用的一个服务软件，主要功能是实现真机的故障隔离和负载均衡器间的失败切换，防止单点故障。在了解keepalived原理之前先了解一下VRRP协议。

**VRRP协议(Virtual Route)**:Redundancy Protocol虚拟路由冗余协议。是一种容错协议，保证当主机的下一跳路由出现故障时，由另一台路由器来代替出现故障的路由器进行工作，从而保持网络通信的连续性和可靠性。在介绍VRRP之前先介绍一些关于VRRP的相关术语：

>  *  `虚拟路由器`：由一个 Master 路由器和多个 Backup 路由器组成。主机将虚拟路由器当作默认网关。
>  *  `VRID`：虚拟路由器的标识。有相同 VRID 的一组路由器构成一个虚拟路由器。
>  *  `Master 路由器`：虚拟路由器中承担报文转发任务的路由器。
>  *  `Backup 路由器`： Master 路由器出现故障时，能够代替 Master 路由器工作的路由器。
>  *  `虚拟 IP 地址`：虚拟路由器的 IP 地址。一个虚拟路由器可以拥有一个或多个IP 地址。
>  *  `IP 地址拥有者`：接口 IP 地址与虚拟 IP 地址相同的路由器被称为 IP 地址拥有者。
>  *  `虚拟 MAC 地址`：一个虚拟路由器拥有一个虚拟 MAC 地址。虚拟 MAC 地址的格式为 00-00-5E-00-01-\{VRID\}。通常情况下，虚拟路由器回应 ARP 请求使用的是虚拟 MAC  
>     地址，只有虚拟路由器做特殊配置的时候，才回应接口的真实 MAC 地址。
>  *  `优先级`： VRRP 根据优先级来确定虚拟路由器中每台路由器的地位。
>  *  `非抢占方式`：如果 Backup 路由器工作在非抢占方式下，则只要 Master 路由器没有出现故障，Backup 路由器即使随后被配置了更高的优先级也不会成为Master 路由器。
>  *  `抢占方式`：如果 Backup 路由器工作在抢占方式下，当它收到 VRRP 报文后，会将自己的优先级与通告报文中的优先级进行比较。如果自己的优先级比当前的 Master 路由器的优先级高，就会主动抢占成为  
>     Master 路由器；否则，将保持 Backup 状态。

**VRRP** 将局域网内的一组路由器划分在一起，形成一个VRRP备份组，它在功能上相当于一台路由器的功能，使用虚拟路由器号进行标识（VRID）。虚拟路由器有自己的虚拟IP地址和虚拟MAC地址，它的外在变现形式和实际的物理路由完全一样。局域网内的主机将虚拟路由器的IP地址设置为默认网关，通过虚拟路由器与外部网络进行通信。

虚拟路由器是工作在实际的物理路由器之上的。它由多个实际的路由器组成，包括一个Master路由器和多个Backup路由器。 Master路由器正常工作时，局域网内的主机通过Master与外界通信。当Master路由器出现故障时， Backup路由器中的一台设备将成为新的Master路由器，接替转发报文的工作。（路由器的高可用），**VRRP的工作过程如下：**

> 1.  虚拟路由器中的路由器根据优先级选举出 Master。 Master 路由器通过发送免费 ARP 报文，将自己的虚拟 MAC 地址通知给与它连接的设备或者主机，从而承担报文转发任务；
> 2.  Master 路由器周期性发送 VRRP 报文，以公布其配置信息（优先级等）和工作状况；
> 3.  如果 Master 路由器出现故障，虚拟路由器中的 Backup 路由器将根据优先级重新选举新的 Master；
> 4.  虚拟路由器状态切换时， Master 路由器由一台设备切换为另外一台设备，新的 Master 路由器只是简单地发送一个携带虚拟路由器的 MAC 地址和虚拟 IP地址信息的ARP 报文，这样就可以更新与它连接的主机或设备中的ARP  
>     相关信息。网络中的主机感知不到 Master 路由器已经切换为另外一台设备。
> 5.  Backup 路由器的优先级高于 Master 路由器时，由 Backup 路由器的工作方式（抢占方式和非抢占方式）决定是否重新选举 Master。 VRRP优先级的取值范围为0到255（数值越大表明优先级越高）

## **2. 环境配置** ##

下面我们在虚拟机新建3个Linux系统：

<table> 
 <thead> 
 <tr> 
 <th style="vertical-align:middle;">主机</th> 
 <th style="vertical-align:middle;">ip</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">LVS虚拟VIP</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">192.168.162.130</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">Nginx 主服务器</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">192.168.162.131</td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;vertical-align:middle;">Nginx 备用服务器</td> 
 <td style="border-color:#dddddd;vertical-align:middle;">192.168.162.132</td> 
 </tr> 
 </tbody> 
</table>

### **2.1 KeepAlived环境安装教程** ###

1.下载keepAlived

<code class="language-shell">wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
 </code>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 1]  
2.解压安装

<code class="language-shell">tar -zxvf keepalived-1.2.18.tar.gz
 </code>

3.下载插件openssl（需要安装一个软件包）

<code class="language-shell">yum install -y openssl openssl-devel
 </code>

4.开始编译keepalived

<code class="language-shell">cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
 </code>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 2]  
5.make一下

<code class="language-shell">make && make install
 </code>

报错: keepalived执行./configure --prefix=/usr/local/keepalived时报错：  
configure: error: Popt libraries is required

出现此错误的原因是由于未安装popt的开发包，解决方法：

<code class="language-shell">yum install popt-devel
 </code>

安装好popt的开发包，重新./configure 即可。

**2.1.1 KeepAlived安装成Linux系统服务**

将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作：

首先创建文件夹，将keepalived配置文件进行复制：

<code class="language-shell">mkdir /etc/keepalived
 cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
 </code>

然后复制keepalived脚本文件：

<code class="language-shell">cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
 cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
 ln -s /usr/local/sbin/keepalived /usr/sbin/
 ln -s /usr/local/keepalived/sbin/keepalived /sbin/
 </code>

可以设置开机启动：

<code class="language-shell">chkconfig keepalived on
 </code>

重启系统：

<code class="language-shell">reboot
 </code>

到此我们安装完毕!

--------------------

**2.1.3 使用KeepAlived命令**

启动或停止KeepAlived：

<code class="language-shell">service keepalived start
 service keepalived stop
 </code>

如果启动报错：

Starting keepalived (via systemctl): Job for keepalived.service failed because the control process exited with error code. See “systemctl status keepalived.service” and “journalctl -xe” for details.\[失败\]  
![在这里插入图片描述][20191115144755819.png]  
解决办法：

<code class="language-shell">cd /usr/sbin/ 
 rm -f keepalived 
 cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 
 </code>

再次启动：

<code class="language-shell">service keepalived start
 </code>

![在这里插入图片描述][20191115144834746.png]  
启动成功！

### **2.2 主从Nginx服务器** ###

Nginx主从服务器的搭建（Nginx+tomcat+jdk）此处就不再详述了。

**2.2.1 双机主从热备**

其实两台Nginx服务器也可以实现双机主从热备，平时各自负责各自的服务。在做上线更新的时候，关闭一台服务器的tomcat后，nginx自动把流量切换到另外一台服务的后备机子上，从而实现无痛更新，保持服务的持续性，提高服务的可靠性，从而保证服务器7\*24小时运行。下面来讲讲实现方式：

先看看Nginx主服务器（192.168.162.131）nginx配置：

<code class="language-py">upstream testproxy {
 server 127.0.0.1:8080;
 server 192.168.162.132:8080 backup;
 }
 
 server {
 listen 80;
 server_name localhost;
 
 
 
 location / {
 proxy_pass http://testproxy;
 index index.html index.htm;
 }
 	 ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
 	 proxy_connect_timeout 1s;
 	 
 		 ###nginx发送给上游服务器(真实访问的服务器)超时时间
 proxy_send_timeout 1s;
 	 
 	 ### nginx接受上游服务器(真实访问的服务器)超时时间
 proxy_read_timeout 1s;
 
 }
 </code>

Nginx备用服务器（192.168.162.132）nginx配置：

<code class="language-py">upstream testproxy {
 server 127.0.0.1:8080;
 server 192.168.162.131:8080 backup;
 }
 
 server {
 listen 80;
 server_name localhost;
 
 
 
 location / {
 proxy_pass http://testproxy;
 index index.html index.htm;
 }
 
 	 ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
 	 proxy_connect_timeout 1s;
 	 
 		 ###nginx发送给上游服务器(真实访问的服务器)超时时间
 proxy_send_timeout 1s;
 	 
 	 ### nginx接受上游服务器(真实访问的服务器)超时时间
 proxy_read_timeout 1s;
 
 }
 </code>

启动两台服务器的Nginx：

<code class="language-shell">./nginx
 </code>

131和132能正常启动：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 4]  
现在我们把131的tomcat服务器关掉，访问[http://192.168.162.131/][http_192.168.162.131]，会发现访问备用服务器132了：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 5]

只要在希望成为后备的服务器 ip 后面多添加一个 backup 参数，这台服务器就会成为备份服务器。在平时不使用，nginx 不会给它转发任何请求。只有当其他节点全部无法连接的时候，nginx 才会启用这个节点。一旦有可用的节点恢复服务，该节点则不再使用，又进入后备状态。

**2.2.2 Nginx+keepalived双机主从热备**

每个服务虚拟安装keepalived 虚拟一个VIP，配置主从关系，当主挂了,直接走备机。配置方式可以看前面的**《2.1 KeepAlived环境安装教程》**

*  Keepalived虚拟VIP 地址 192.168.162.130
 *  主服务器 192.168.162.131
 *  备用服务器 192.168.162.132

**修改主keepalived信息:**（修改State 为MASTER）

<code class="language-shell">vi /etc/keepalived/keepalived.conf 
 </code>

config内容：

<code class="language-shell">
 vrrp_script chk_nginx {
 script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
 interval 2 #检测时间间隔
 weight -20 #如果条件成立的话，则权重 -20
 }
 # 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
 vrrp_instance VI_1 {
 state MASTER #来决定主从
 interface eno16777736 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
 virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须一样
 mcast_src_ip 192.168.162.131 #填写本机ip
 priority 100 # 节点优先级,主要比从节点优先级高
 nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
 advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
 authentication {
 auth_type PASS
 auth_pass 1111
 }
 # 将 track_script 块加入 instance 配置块
 track_script {
 chk_nginx #执行 Nginx 监控的服务
 }
 
 virtual_ipaddress {
 192.168.162.130 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
 }
 }
 </code>

**修改从keepalived信息:** （修改State 为BACKUP）

<code class="language-shell">vi /etc/keepalived/keepalived.conf 
 </code>

config内容：

<code class="language-shell">
 vrrp_script chk_nginx {
 script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
 interval 2 #检测时间间隔
 weight -20 #如果条件成立的话，则权重 -20
 }
 # 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
 vrrp_instance VI_1 {
 state BACKUP #来决定主从
 interface eno16777736 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
 virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须一样
 mcast_src_ip 192.168.162.132 #填写本机ip
 priority 100 # 节点优先级,主要比从节点优先级高
 nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
 advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
 authentication {
 auth_type PASS
 auth_pass 1111
 }
 # 将 track_script 块加入 instance 配置块
 track_script {
 chk_nginx #执行 Nginx 监控的服务
 }
 
 virtual_ipaddress {
 192.168.162.130 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
 }
 }
 </code>

**nginx+keepalived实现高可用：** 主从服务器新增nginx\_check.sh脚本 （通过判断Nginx服务是否还存活来判断，如果没有nginx服务，重启机器）

<code class="language-shell">vi /etc/keepalived/nginx_check.sh
 </code>

内容：

<code class="language-py">#!/bin/bash
 A=`ps -C nginx –no-header |wc -l`
 if [ $A -eq 0 ];then
 /usr/local/nginx/sbin/nginx
 sleep 2
 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
 killall keepalived
 fi
 fi
 </code>

注意该脚本一定要授权

<code class="language-shell">chmod 777 /etc/keepalived/nginx_check.sh 
 </code>

最后的效果：

通过访问LVS服务器（192.168.162.130）可以负载均衡访问到主Nginx（192.168.162.131）,如果主服务器的Nginx关了，会启用备选Nginx服务器（192.168.162.132），同时也会使用脚本重启主服务器的keepalived。

--------------------

当然这是最简单的LVS+KeepAlived+Nginx方式来实现高性能负载均衡集群，还有分组的方式，具体可以百度谷歌，推荐两篇文章：

*  [《超详细！使用 LVS 实现负载均衡原理及安装配置详解》][LVS]
 *  [《LVS+KeepAlived+Nginx高可用实现方案》][LVS_KeepAlived_Nginx]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70]: /images/20221120/45088ab0646a4e7e93729496eaaf1089.png
[VIP]: https://yq.aliyun.com/ask/61502
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191115143425436.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191115143702167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[20191115144755819.png]: https://img-blog.csdnimg.cn/20191115144755819.png
[20191115144834746.png]: https://img-blog.csdnimg.cn/20191115144834746.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191115155624716.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191115155645226.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[http_192.168.162.131]: http://192.168.162.131/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191115155814601.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70
[LVS]: https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/79119665
[LVS_KeepAlived_Nginx]: https://blog.csdn.net/lupengfei1009/article/details/86514445
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191115183520642.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMDQyOTM1,size_16,color_FFFFFF,t_70