机器学习算法详解之决策树(一)

╰+攻爆jí腚メ 2022-09-17 03:13 339阅读 0赞

**目录**

决策树是什么不解释了直接上树

决策树的特点

1.可以处理非线性问题

2.可解释性强，可以树状图形化表示，直观好理解

3.模型推理简单效率极高

4.缺点是不容易显示地使用函数表达，不可微

强行用数学表达形式表达决策树

使用推理模型的时候

训练迭代模型时的数学表达式

讨论一下递归过程中要解决的问题

分裂是否是最有方式的"纯度"指标理解

常见的分裂条件和对应的决策树类型

基尼系数(Gini系数)

基尼系数的来源

基尼系数的在决策树中的使用

基尼系数的计算公式：

信息增益

什么叫概率

什么叫熵

什么叫信息量和与熵的关系

什么叫信息熵

什么叫信息增益（互信息）

回头看一下信息增益和基尼系数的关系

信息增益率

ID3决策树的问题

MSE

--------------------

# 决策树是什么不解释了直接上树 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

# 决策树的特点 #

## 1.可以处理非线性问题 ##

![a06af45dd84ea364ab952f4e914d5c07.gif][]

## 2.可解释性强，可以树状图形化表示，直观好理解 ##

## 3.模型推理简单效率极高 ##

决策树在训练的时候计算量是非常大的，因为要在每个节点全量遍历数据，但是一但模型生成部署，推理计算的极快，本身就是if else的事情。

## 4.缺点是**不容易显示地使用函数表达，不可微** ##

# 强行用数学表达形式表达决策树 #

## 使用推理模型的时候 ##

此时是模型已经通过大量数据生成模型树，需要用它来预测了。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16][]

强行写出来的式子：

![0e573903414d45d2968a8eaf9056a020.png][]

G(x)是整个大树，这里面**q代表所有决策树的路径**，t是路径的数量。比如我们的X是qutitingtime<17:00 并且没有约会，那么在上述决策树存在的情况下，这个数据会落到2号节点，**能够通往几号节点的路径就叫几号路径**，所以X扔进来的情况下，会通往2号路径，所以我们定义此时的X只有q(2)x=1，其他路径都为0，即q(1)x=0,q(3)x=0...。所以**我们qt是定义出来的，代表着x是不是在第t号路径上，is x on path t。gt(x)代表某一号叶子节点的表达，**比如这里的X，落在2号节点上，所以表达为Y，也就是说以后甭管X是什么样，只要落在2号节点上，就写成Y，**因此qt(x).gt(x)就是代表来一条数据，先是通过qt(x)看看落在哪个叶子节点上，然后再通过gt(x)看看这个叶子结点的表达是什么，我们就返回什么（Y 或者N），简直就是一个很无聊的表达，并且表达的很简单。**

假设针对上述落在2号节点的X，我们针对上面的决策树把连加符号拆解出来就是:

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

## 训练迭代模型时的数学表达式 ##

![4bc3ad4333614e6495854e4ebc2017b6.png][]

C可以理解为condition条件，这里是迭代所以都是大写的G:G(x)、Gc(x), Gc(x)是子树，上边不是迭代所以是整体看，所以用的是小写的g(x)

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_18_color_FFFFFF_t_70_g_se_x_16][]

如上图所示，是构建决策树的递归步骤，如果遇到终止标准则返回决策树，否则执行else中的四个步骤，第一步学习分裂的指标，第二步把D数据集切分成C个部分，并且满足分裂指标条件，第三步递归生成新的子树，第四步最终返回决策树。

网友给出的伪代码也摆出来：

# D = {(x1,y1)、(x2,y2)......(xm,yn)} 是数据集
    # A = {a1、a2、a3.} 是划分节点的属性集
    # 节点node有两个主要属性：content代表该节点需要分类的训练集，type代表叶节点的决策类型
    def generateTree(D,A):
        newNode = 空 #生成新的节点
        # 如果当前数据集都为一个种类，则设为一个叶节点并返回
        if D 中数据皆属于类别 C:
            newNode.content = D
            newNode.type = C
            return  
        # 如果已经没有属性了或者数据集在剩余属性中表现相同（属性无法区分）
        if A = 空集 or D中数据在A中取值相同:
            newNode.content = D
            newNode.type = D中最多的类
            return
        #从A中选取最优的属性a
        a=selectBestPorperty(A)
        #为a的每一个取值生成一个节点，递归进行处理
        for a的每一个取值 res[i]:
            生成新的分支节点 node[i]
            D[i] = D中取值为res[i]的数据
            node[i].content = D[i]
            if node[i].content == null:
                node[i].type = D中最多的类
            else:
                generateTree(D[i],A - {a})
        return

# 讨论一下递归过程中要解决的问题 #

1.分裂成几份？二叉树还是多叉树，后边说到的CART是二叉树，ID3之类的可以是多叉树。

2.分裂的指标是什么？如何选择当前节点哪个特征作为分裂条件，这里要计算信息增益来对比，选择贡献最大的特征作为当前节点的分裂条件，因此每次每个节点做此计算的时候要全量遍历(如果分裂条件是数值型可能还是分裂条件数值的筛选计算)，计算量比较大。

3.终止条件是什么，人为定义，可以固定树的深度。

4.利用最终生成的n份数据的共性来代表这个节点，如何用节点共性代表未来预测值？(回归是求平均，分类是投票)

# 分裂是否是最有方式的"纯度"指标理解 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1][]

在递归第二步中根据分裂指标计算比对结果，如果同一个类别的数据尽量的处于一侧了，说明“纯度”较高，分裂的效果好，例如上边的分割方式2是比较好的。

# 常见的分裂条件和对应的决策树类型 #

## 基尼系数(Gini系数) ##

分裂条件是基于基尼系数的决策树是GART决策树。

### 基尼系数的来源 ###

基尼系数是指国际上通用的、用以衡量一个国家或地区居民收入差距的常用指标。

基尼系数最大为“1”，最小等于“0”。基尼系数越接近0表明收入分配越是趋向平等。国际惯例把0.2以下视为收入绝对平均，0.2-0.3视为收入比较平均；0.3-0.4视为收入相对合理；0.4-0.5视为收入差距较大，当基尼系数达到0.5以上时，则表示收入悬殊。

基尼指数最早由意大利统计与社会学家Corrado **Gini**在1912年提出。

其具体含义是指，在全部居民收入中，用于进行不平均分配的那部分收入所占的比例。基尼系数最大为“1”，最小等于“0”。前者表示居民之间的收入分配绝对不平均，即100%的收入被一个单位的人全部占有了；而后者则表示居民之间的收入分配绝对平均，即人与人之间收入完全平等，没有任何差异。但这两种情况只是在理论上的绝对化形式，在实际生活中一般不会出现。因此，基尼系数的实际数值只能介于0～1之间，基尼系数越小收入分配越平均，基尼系数越大收入分配越不平均。国际上通常把0.4作为贫富差距的警戒线，大于这一数值容易出现社会动荡。

### 基尼系数的在决策树中的使用 ###

基尼指数（Gini不纯度）表示在样本集合中一个随机选中的样本被分错的概率。

*Gini指数越小表示集合中被选中的样本被参错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0.*

### 基尼系数的计算公式： ###

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

举个例子，根据天气状况预测是否打高尔夫，首先计算根节点的基尼指数：

数据是这样：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16][]

CART树是二叉树，对于一个具体有多个取值（超过2个）的特征，每一个分叉点都需要计算以每一个特征取值作为划分点，对样本D划分之后子集的纯度Gini（D，Ai),然后从所有的可能划分的Gini（D，Ai）中找出Gini指数最小的划分，这个划分的划分点，便是使用特征A对样本集合D进行划分的最佳划分点。

流程是首先计算原始的尼基系数，原始数据的基尼不纯度计算：一共14条数据，5次No，9次Yes，所以原始的基尼系数为：Gini=1-（5/14）\*（5/14）-（9/14）\*（9/14）=0.459

其次咱们选一个特征计算基尼系数，选"外表"这个特征,数据统计和计算方式如下：

![f07fd36f52924612aef4a5fe2cac1dec.png][]

基尼系数（展望=晴天）= 1 – (2/5)2 – (3/5)2 = 1 – 0.16 – 0.36 = 0.48

基尼系数（展望=阴天）= 1 – (4/4)2 – (0/4)2 = 0

基尼系数（展望=雨）= 1 – (3/5)2 – (2/5)2 = 1 – 0.36 – 0.16 = 0.48

然后，我们将计算这个特征的基尼指数加权和。

基尼系数(展望) = (5/14) x 0.48 + (4/14) x 0 + (5/14) x 0.48 = 0.171 + 0 + 0.171 = 0.342

用原始的减去0.342得Gini增益： 0.117

最后同样的方式计算其他特征的增益统计一下结果：

使用outlook分隔的Gini增益： 0.117（最佳分隔特征）  
使用temp分隔的Gini增益： 0.0185  
使用Humidity分隔的Gini增益： 0.0916  
使用Wind分隔的Gini增益： 0.0304

因此第一次分叉分裂就选择“外表”这个特征了，因为以它作为分裂条件结果最纯。

第一次分裂后的数据是这样：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16][]

阴天的结果都是是，没有其他结果，因此阴天不再分裂，整理一下树数据：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16 1][]

然后按照上边相同的方式计算左右两个子集，从剩下的几个特征中选择基尼系数增益低的作为分叉条件....

## 信息增益 ##

以信息增益作为分裂指标的决策树类型是ID3, 而区别于上边说到的CART决策树ID3允许多叉树了

### 什么叫概率 ###

**概率**，符号表示为p, p(x)代表随机事件x发生的概率，比如x代表天气情况，就有天气晴朗的概率和下雨的概率

### 什么叫熵 ###

**熵**，物理和化学中的概念，代表一个系统的混乱程度，熵越大，混乱程度越大，比如水蒸气的熵>水的熵>冰的熵，**熵是对不确定性的度量****，**系统的不确定性越高，熵就越大。假设集合中的变量`X={x1,x2…xn}`，它对应在集合的概率分别是`P={p1,p2…pn}`。那么这个集合的熵表示为

![cb36f29b3f1445dea0eeb574bf0604e5.png][]

举一个的例子：对游戏活跃用户进行分层，分为高活跃、中活跃、低活跃，游戏A按照这个方式划分，用户比例分别为20%，30%，50%。游戏B按照这种方式划分，用户比例分别为5%，5%，90%。那么游戏A对于这种划分方式的熵为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

同理游戏B对于这种划分方式的熵为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1][]

游戏A的熵比游戏B的熵大，所以游戏A的不确定性比游戏B高。用简单通俗的话来讲，游戏B要不就在上升期，要不就在衰退期，它的未来已经很确定了，所以熵低。而游戏A的未来有更多的不确定性，它的熵更高。

### 什么叫信息量和与熵的关系 ###

符号表示为h，h(x)代表随机事件x发生这件事包含多少信息量，h(x) = -logp(x)，我们看到概率越小，信息量越大；举个例子，我们经常调侃某句话或者某张图的信息量有点大，在看这段话或这张图的时候你脑海中肯定闪过的是各种污污的小概率事件。

在信息论里熵叫作信息量，即上边说到的熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。还是举例说明，假设Kathy在买衣服的时候有颜色，尺寸，款式以及设计年份四种要求，而North只有颜色和尺寸的要求，那么在购买衣服这个层面上Kathy由于选择更多因而不确定性因素更大，最终Kathy所获取的信息更多，也就是熵更大。所以**信息量=熵=不确定性**，通俗易懂。在叙述决策树时我们用熵表示不纯度（Impurity）。

### 什么叫信息熵 ###

符号表示为H，上边说了信息量等于熵：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2][]

衡量事件x的确定程度，信息熵越大代表事件的可能性越多，越不确定，比如明天下雨和晴天的概率均为0.5，也就是不确定性最大的情况，这时信息熵为log2；当明天下雨的概率为1时，确定性最大，信息熵为0。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

### 什么叫**信息增益（互信息）** ###

**分裂前的信息熵 减去 分裂后的信息熵**，一个分裂导致的信息增益越大，代表这次分裂提升的纯度越高。

如何计算我们来看个例子，假设有这样的用户是否流失数据样本：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16][]

第二列为性别，第三列为活跃度，最后一列用户是否流失。我们要解决一个问题：性别和活跃度两个特征，哪个对用户流失影响更大？我们通过计算信息增益可以解决这个问题。

整理统计一下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 1][]

其中Positive为正样本（已流失），Negative为负样本（未流失），下面的数值为不同划分下对应的人数。那么可得到三个熵：

整体熵：![52fc99c490d44438811f31f855cc435e.png][]

性别熵：

![0f99a68f885b46eeb42cfe11ce72c8db.png][]

性别信息增益： ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1][]

同理计算活跃度熵：![f8109146f3024762adb9e1656254d5a7.png][]

活跃度信息增益：![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1][]

结论:活跃度的信息增益比性别的信息增益大，也就是说，活跃度对用户流失的影响比性别大。在做特征选择或者数据分析的时候，我们应该重点考察活跃度这个指标。

### 回头看一下信息增益和基尼系数的关系 ###

二者的定义：

![ddeff8a9a1ae4a0f987accc3c4b5ede2.png][]

将 f(x) = −lnx 在 x = 1 处进行一阶泰勒展开（忽略高阶无穷小）：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2][]

因此，熵可近似转化为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2][]

即用 \-logP来近似1-P,且P处于\[0,1\],如下图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 3][]

基尼指数是信息熵中﹣logP 在P = 1处一阶泰勒展开后的结果！所以两者都可以用来度量数据集的纯度，用于描述决策树节点的纯度！

## 信息增益率 ##

以信息增益率为分裂指标的决策树算法是C4.5

### ID3决策树的问题 ###

对于多叉树，如果不限制分叉的数量，那么一次分裂就是最优了，例如上边说到的用户流失的例子，按照第一列的uni来分一次即可停止分裂，这样划分效果极差不是我们想要的。

因此有了信息增益率：**信息增益 除以 类别 本身的熵**

## MSE ##

以MSE作为分裂指标的决策树用于回归问题，上边我们谈到的CART、ID3、C4.5决策树都是用于分类问题的。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/2aa8f8c99d094f5f81b6264f38056fef.png
[a06af45dd84ea364ab952f4e914d5c07.gif]: /images/20220828/4dab734f44434383a2dbf9cea7a793e6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f9077988f8994fa5b46f6bdd57a66f43.png
[0e573903414d45d2968a8eaf9056a020.png]: /images/20220828/f121fef715ab4f51b33edda86ab7d25e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ec3f7715017e4052988c5806258058b6.png
[4bc3ad4333614e6495854e4ebc2017b6.png]: /images/20220828/e4b4eb7e35fb4c7fb70915ebb51055e8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c1293627f79849bba4dfe5651f10a3e0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/5c0ae477704f4ceea73aa0f01c61c790.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d98c18fe19fb4c148dd5ef4a5b78b294.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/42d907dfe5e14740ba59d36037985181.png
[f07fd36f52924612aef4a5fe2cac1dec.png]: /images/20220828/e386ae2bcace4e7eac0354f3a47d4e84.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/7cde429b52334edfbdac5886f00b9b89.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/04712b3baa314eda902b3e3b590e8b07.png
[cb36f29b3f1445dea0eeb574bf0604e5.png]: /images/20220828/6e07a6c1c76e42a9ac5ef6d6e8066b9f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/cdf8eea41fc44f1aa70a5e066a462eef.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/44de2a027d8a435a88b6511a5885bc81.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/dd881c9f764e4d14943db7d7d86949e4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/9f87d4e7e7e842b789bd9a9a2041067f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/70fb9462bb414a3ea04ae2e1aa516ff1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/84cfd594a8714f9ba3beb934c47508fa.png
[52fc99c490d44438811f31f855cc435e.png]: /images/20220828/40af969122194329b3ad78efac830058.png
[0f99a68f885b46eeb42cfe11ce72c8db.png]: /images/20220828/8c8a7ae66adb4f0da071ae63aedaf6c2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/0eb8ebfb32484571bc3a351411d1206d.png
[f8109146f3024762adb9e1656254d5a7.png]: /images/20220828/b4d64344e9b34cc686cceeb34d24beea.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/7e526a63d0704d82a3b75ea6ed4e206e.png
[ddeff8a9a1ae4a0f987accc3c4b5ede2.png]: /images/20220828/1b012751cb624565b2b32dcd68c9cc5a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/7de6e525297044cdb7a6b084407e5752.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/9081e8e5980645b09ff0ab81652722b3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/486971b4f67846279d1baeb4f2053448.png