redis集群环境搭建、扩容、缩容原理

水深无声 2022-03-15 00:58 286阅读 0赞

**一、背景**

随着互联网的不断发展，用户体验要求越来越高，为了提高性能大家常常采用的方案是将我们的热点数据存储到缓存中，这样来减少服务与数据库的交互。怎样能搭建一个高可用的缓存集群也就成为了新的问题。

Redis3.0版本之前，可以通过Redis Sentinel（哨兵）来实现高可用 ( HA )，从3.0版本之后，官方推出了Redis Cluster，它的主要用途是实现数据分片(Data Sharding)，不过同样可以实现HA，是官方当前推荐的方案。

在Redis Sentinel模式中，每个节点需要保存全量数据，冗余比较多，而在Redis Cluster模式中，每个分片只需要保存一部分的数据，对于内存数据库来说，还是要尽量的减少冗余。在数据量太大的情况下，故障恢复需要较长时间。

Redis Cluster的具体实现细节是采用了Hash槽的概念，集群会预先分配16384个槽，并将这些槽分配给具体的服务节点，通过对Key进行CRC16(key)%16384运算得到对应的槽是哪一个，从而将读写操作转发到该槽所对应的服务节点。当有新的节点加入或者移除的时候，再来迁移这些槽以及其对应的数据。在这种设计之下，我们就可以很方便的进行动态扩容或缩容。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70][]

**二、搭建集群**

1）创建目录/usr/local/redis

![20190228173039559.png][]

2）下载redis安装文件，官网[https://redis.io/download][https_redis.io_download]，当前最新版本5.0.3

wget http://download.redis.io/releases/redis-5.0.3.tar.gz

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 1][]

3）解压、安装

tar xf redis-5.0.3.tar.gz

cd redis-5.0.3

make && make install

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 2][]

4）创建存放多个实例的目录

mkdir /data/cluster -p

cd /data/cluster

mkdir 7000 7001 7002 7003 7004 7005

![20190228174430275.png][]

5）复制配置文件到实例目录

cp redis.conf cluster/7000/

![20190228174608462.png][]

6）修改配置项

> port 7000
> 
> daemonize yes
> 
> cluster-enabled yes
> 
> cluster-config-file nodes.conf
> 
> cluster-node-timeout 5000
> 
> appendonly yes

文件中的 cluster-enabled 选项用于开实例的集群模式， 而 cluster-conf-file 选项则设定了保存节点配置文件的路径， 默认值为nodes.conf 。其他参数相信童鞋们都知道。节点配置文件无须人为修改， 它由 Redis 集群在启动时创建， 并在有需要时自动进行更新。

修改完成后，把修改完成的redis.conf复制到7001-7005目录下，并且端口修改成和文件夹对应。

7）分别启动6个redis实例

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 3][]

8）检查进程是否存在

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 4][]

9）执行命令创建集群，首先安装依赖，否则创建集群失败。

yum install ruby rubygems -y

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 5][]

10）安装gem-redis，下载：[https://rubygems.org/gems/redis/versions/3.0.0][https_rubygems.org_gems_redis_versions_3.0.0]

gem install -l redis-3.0.0.gem  ,注意支持ruby版本,gem-redis在4.0.0版本包括以及以上需要ruby版本>2.2.2

![20190228212331795.png][]

11）复制集群管理程序到/usr/local/bin

cp redis-5.0.3/src/redis-trib.rb /usr/local/bin/redis-trib

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 6][]

重新命名，因为一次复制没有到位。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 7][]  
12）创建集群  
redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1

> 命令的意义如下：
> 
>  *  给定redis-cli --cluster create 程序的命令是 create ， 这表示我们希望创建一个新的集群。
>  *  选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
>  *  之后跟着的其他参数则是实例的地址列表， 我们希望程序使用这些地址所指示的实例来创建新集群。
> 
> 简单来说， 以上命令的意思就是让redis-cli --cluster create程序创建一个包含三个主节点和三个从节点的集群。
> 
> 接着，redis-cli --cluster create会打印出一份预想中的配置给你看， 如果你觉得没问题的话， 就可以输入 yes ， redis-cli --cluster createb就会将这份配置应用到集群当中：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 8][]

输入 yes 并按下回车确认之后， 集群就会将配置应用到各个节点， 并连接起（join）各个节点 —— 也即是， 让各个节点开始互相通讯：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 9][]

测试 Redis 集群比较简单的办法就是使用 redis-cli ， 接下来我们将使用 redis-cli 为例来进行演示：

> \[root@centos-linux0002 bin\]\# redis-cli -c -p 7000
> 
> 127.0.0.1:7000> set name zhangqiang
> 
> \-> Redirected to slot \[5798\] located at 127.0.0.1:7001
> 
> OK
> 
> 127.0.0.1:7001> get name
> 
> "zhangqiang"
> 
> 127.0.0.1:7001>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 10][]

检查集群状态

redis-cli -p 7000 cluster nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 11][]

可以看到7000-7002是master，7003-7005是slave。

**三、新增(Node)节点**

随着业务发展，数据量的不断上升。当已有的缓存系统无法满足我们的需求时，需要对已有服务器集群进行扩容。新增集群的主从节点，主节点7006，从节点7007。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 12][]

redis集群的架构图可知，在整个集群新增节点的过程中涉及到一下几个步骤：建立主节点、建立从节点、槽范围移动、槽分区移动。

**数据初始化**

验证槽范围移动后，槽分区也同时移动，首先我们在7001实例内用set命令初始化一个Key-Value值。命令：set name zhangqiang

![20190301092121328.png][]

>     图中可知，name值为zhangqiang的信息被映射到5798这个槽对应的7001这个实例。

**创建主节点**

cluster下建立两个实例目录7006、7007。存储新增节点的实例信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 13][]

复制实例配置文件到7006、7007下，进行实例配置，修改配置端口。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 14][]

分别启动服务实例

> redis-server redis.conf
> 
> ps -ef | grep redis

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 15][]

将7006 端口号的redis实例添加到集群之前，一定要确保这个redis实例没有存储过数据，也不能持久化的数据文件，否则在添加的时候会报错的！

执行命令“redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000”，添加节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 16][]

我们执行在任意一个客户端下执行 redis-cli -p 7000 cluster nodes 命令，可以看到7006 已经作为主节点添加到我们的集群中了，但是可以看到他没有分配哈希槽，没有分配哈希槽的话表示就没有存储数据的能力，所以我们需要将其他节点上的哈希槽分配到这个节点上。

redis-cli -p 7000 cluster nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 17][]

下边我们看一下如何分配哈希槽。我们随便进入一个客户端，然后我们执行 redis-cli --cluster reshard 127.0.0.1:7000， 就可以看到如下图所示提示，问我们需要移动多少个哈希槽，我们在这里移动3000个。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 18][]

完以后，又会问我们需要覆盖的节点id是什么，这个id就是我们新创建的节点id。然后让我们输入源节点，如果这里我们输入all的话，他会随机的从所有的节点中抽取3000个作为新节点的哈希槽。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 19][]

为了达到验证槽范围移动，槽分区也移动啦，这里我选取将端口7001的槽移动3000个到7006端口，会出下下图所示东西，表示hash槽的移动计划。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 20][]

输入yes确定移动计划后，再真正执行移动。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 21][]

移动完以后，我们进入客户端，执行redis-cli -p 7000 cluster nodes命令，查看集群节点的状态，我们会看到原来没有哈希槽的7006节点，分配到了3000个哈希槽，而且是连续的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 22][]

这样我们一个新的节点就添加好了， 但是我们发现总共是7个节点，其中的六个互为住备，但有一个是有主，没有备，所以我们需要在为该节点添加一个备份节点。我们在创建一个实例，端口号为7007，启动以后我们只命令redis-cli --cluster add-node 127.0.0.1:7007  127.0.0.1:7006 --cluster-slave，第一个实例127.0.0.1:7007为备份节点，第二个实例127.0.0.1:7006为主节点。然后我们在执行，redis-cli -p 7000 cluster nodes命令，就会发现新添加的节点已经作为7007 备份节点开始工作了！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 23][]

至此，集群新增节点操作完成，那我们来验证一下，槽分区5798的数据是否已经移动到端口7006上。

![20190301110303272.png][]

由图可知，5798槽已经由实例7001移动到7006。并且对应的槽分区数据也移动到7006上了。

总结：redis cluster集群新增节点，槽范围移动的时候，槽分区（实际存放数据的地方）也会做相应的移动。

**四、删除(Node)节点**

删除节点也分两种，一种是主节点，一种是从节点。在从节点中，我们没有分配哈希槽，所以删除很简单，我们直接执行redis-cli --cluster del-node 127.0.0.1:7005 739228b458d6f296333bc50652f6c3ba6776be94 有两个参数ip：port  和节点的id。 我们就可以将从节点从集群中删除了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 24][]

我们现在删除7000实例下的从节点7005

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 25][]

而在删除主节点的时候，因为在主节点中存放着数据，所以我们在删除之前，要把这些数据迁移走，并且把该节点上的哈希槽分配到其他主节点上。

**如果是主从，先删除从节点，再删除主节点。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 26][]

主节点有值时，我们执行redis-cli --cluster del-node 127.0.0.1:7006 6bb5709b1dcc8d06c04a52288b8f13e2385c1059命令时，会提示以下错误，告诉我们删除的时候需要将槽给移动走。

![20190301112302653.png][]

我们执行redis-cli --cluster reshard 127.0.0.1:7006，问我们有多少个哈希槽要移走，因为我们这个节点上有3000 个所以我们这里输入3000，整个原理同新增节点一样。如下如所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 27][]

查看当前槽的分布情况，端口7006上的槽数量为0啦。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 28][]

最后删除端口7006主节点，这次删除成功。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 29][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70]: /images/20220315/e3e1ff62a64f4e0683c6d076ed83ed71.png
[20190228173039559.png]: /images/20220315/158a6a44368a480ea4d429ca0cfc1e7b.png
[https_redis.io_download]: https://redis.io/download
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 1]: /images/20220315/370872f338ea4c8fb70850c4759b4ea2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 2]: /images/20220315/ddd20d2e5a04415ea3be5737f15fcda2.png
[20190228174430275.png]: /images/20220315/b7e183df10cf440e9b823c7285d7fea0.png
[20190228174608462.png]: /images/20220315/819b518a735b475598d329797b7dcaaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 3]: /images/20220315/8d43a841e1934c919aa9caabf15f9e12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 4]: /images/20220315/277dc8a2e991428ba61f35cf862800c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 5]: /images/20220315/022cd7e5cea648b19b3dc0ed54c3619b.png
[https_rubygems.org_gems_redis_versions_3.0.0]: https://rubygems.org/gems/redis/versions/3.0.0
[20190228212331795.png]: /images/20220315/bdeec27645df401e93affda1f8bfee94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 6]: /images/20220315/edafba13aeb0496fb35a459dc6b57def.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 7]: /images/20220315/62c9a66bdf2b400a8ac29bf22be56add.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 8]: /images/20220315/885cf17e11ad44c1b5d6f67bca3e0bd2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 9]: /images/20220315/100929461a4342f880dea17cce2fd32f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 10]: /images/20220315/1e5b3070d4634593a2e380865f582705.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 11]: /images/20220315/c5e1c4963c404f1983cbd65cdee7d8c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 12]: /images/20220315/9961606f3b5647a7a766015c69b63e5e.png
[20190301092121328.png]: /images/20220315/fc4d9c18bc594730b1ff7fe505dd3fc3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 13]: /images/20220315/96e0735c78934850be30e82644367ec3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 14]: /images/20220315/ddea4183020f4efe91f19060eebebe7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 15]: /images/20220315/edc47bb482774d0cb96456788c2eb021.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 16]: /images/20220315/1922ca5406a54b38ab5dfcc9414b6840.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 17]: /images/20220315/819b4306676b4fc48f1d3be29947979e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 18]: /images/20220315/464b8612549243c492ac969746a769c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 19]: /images/20220315/78db5244dd774f9b97de8d4f35653897.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 20]: /images/20220315/2ac7ce2998104b538b54162bdc93a493.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 21]: /images/20220315/a7096672c7b7468cb5a4d5bce1d78b02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 22]: /images/20220315/77989b1ef2df4948aecd376adb69e522.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 23]: /images/20220315/5605ad41c58d4ed39f9336df77b70082.png
[20190301110303272.png]: /images/20220315/5be8178ffc7246038c68163e65936c59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 24]: /images/20220315/29a68b918ec44b9cbfda7dc7ea6a8b70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 25]: /images/20220315/751456e964bd41aa9de6e6759ea930e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 26]: /images/20220315/b219aa5119664afd8ed3abe114bb9d8a.png
[20190301112302653.png]: /images/20220315/6d6c3f4939bf4a2db10658d383d32aa6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 27]: /images/20220315/21a0f6194d3940518d61296c1594d4dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 28]: /images/20220315/38541715136341ea98b6386ad2dd05b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 29]: /images/20220315/5285fbfa5c6a4217ae9bb7f37c487ce4.png