论文阅读-基于层级表达的高效网络搜索

分手后的思念是犯贱 2023-01-12 01:49 160阅读 0赞

> hello，这是鑫鑫鑫的论文分享站，今天分享的文章是HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH-《高效体系结构搜索的层次表示》，第一篇基于EA进化算法工作的论文，一起来看看吧~

基础知识：  
EA (Evolutionary Algorithms)：进化算法；  
GA (Genetic Algorithm)：遗传算法；  
**进化算法包括遗传算法、进化程序设计、进化规划和进化策略。**  
基于对生物进化机制的模仿，共产生进化算法的四种典型模型：  
①遗传算法 Genetic Algorithm,GA  
②进化规划 Evolutionary Programming,EP  
③遗传规划 Genetic Programming,GP  
④进化策略 Evolution Strategy, ES  
虽然这些概念的内涵有一定的差别，它们有各自不同的侧重点，各自有不同的生物进化背景，各自强调了生物进化过程中的不同特性，但本质上都基于进化思想的，都能产生鲁棒性较强的计算机算法，适应面较广，因此又称它们为进化算法或进化计算。

**摘要**  
我们探索了有效的神经结构搜索方法，并证明了一个简单而强大的进化算法可以发现性能优异的新结构。我们的方法结合了一个新的分层遗传表示方案，它模仿了人类专家通常采用的模块化设计模式，以及一个支持复杂拓扑结构的表达性搜索空间。我们的算法有效地发现与具有大量手动设计图像分类模型的体系结构，在 CIFAR-10 上获得 3.6% 的top1 错误率，在传输到 ImageNet 时获得 20.3% 的top1误差，与现有最佳神经架构搜索方法具有竞争力，我们还使用随机搜索显示结果，在 CIFAR-10 上比top1少0.3%精度，在 ImageNet 上减少 0.1%，同时将搜索时间从 36 小时缩短到 1 小时。

**1 导言**  
发现高性能的神经网络结构需要人类专家通过反复试验进行多年的广泛研究。就图像分类任务而言，最先进的卷积神经网络正在超越深度、链式结构布局，走向越来越复杂的图形结构拓扑。 设计空间中的组合爆炸使得手工构建的架构不仅获得成本高昂，而且在性能上也可能是次优的。  
**最近，人们对使用算法来自动化体系结构设计的手动过程产生了极大的兴趣。他们的目标可以描述为在给定的搜索空间中找到最优的体系结构，从而在给定的任务上使验证精度达到最大。具有代表性的架构搜索算法可分为随机权重预测、蒙特卡罗树搜索、进化  
和强化学习，其中强化学习方法的实证表现最强。**  
架构搜索在计算上非常密集，因为每个评估通常需要训练神经网络。因此，**限制搜索空间以降低架构搜索的复杂度和提高效率是一种常见的方法。已使用的各种约束包括：通过跳过连接增长卷积“主干”、滤波器组的线性序列或每个节点正好有两个前导的有向图**。在这项工作中，我们通过施加一个分层的网络结构来限制搜索空间，同时允许在分层的每个层次上使用灵活的网络拓扑（有向无环图）。从一小部分原语开始，例如

层次结构的底层，即更高层次的计算图或基序，是通过使用较低层次的基序作为它们的构建块而形成的。层次结构顶部的基序被多次堆叠，形成最终的神经网络。这种方法使得搜索算法能够实现强大的分层模块，其中任何基序的变化都会立即在整个网络中传播。这与许多手工架构中使用的模块化设计模式类似，例如VGGNet、ResNet和Inception都由构建块组成。在我们的例子中，层次结构是通过进化或随机搜索发现的。  
神经结构的进化作为神经进化的一个子任务进行了研究，其中神经网络的拓扑结构与其权重和超参数同时进化。Gruau等人（1994年）、Kitano（1990年）、Stanley（2007年）、Stanley等人都曾讨论过间接编码方案的好处，例如多尺度表示。尽管有这些先驱研究，进化或随机架构搜索直到最近才在图像分类基准上进行大规模研究。我们的工作表明，使用设计良好的搜索空间可以大大增强简单搜索方法的能力。  
我们的实验设置类似于Zoph等人（2017），其中使用强化学习发现的架构在ImageNet上获得了最先进的性能。我们的工作表明，随机或进化的方法，迄今为止被认为是效率较低的，如果与强大的体系结构表示相结合，可以在这项任务上扩展并获得有竞争力的性能，同时利用显著较少的计算资源。  
\*\*总而言之，我们的主要贡献是：

1.  我们介绍了描述神经网络结构的层次表示法。
2.  结果表明，即使使用简单的随机搜索，也可以获得具有竞争力的图像分类结构，这说明了搜索空间构造的重要性。
3.  我们提出了一个可扩展的进化搜索变体，进一步改进了结果，并在进化架构搜索技术中获得了最佳的发布结果。\*\*

**2 体系结构表示**

**2.1 flat平面结构表示（每个体系结构被表示为单一的有向无环图的基本操作）**  
我们考虑一个由单源单汇计算图表示的一系列神经网络结构，该图将源处的输入转换为汇处的输出。图的每个节点对应于一个特征映射，并且每个有向边与一些基本操作（例如卷积、池化等）相关联，这些基本操作将变换输入节点中的特征映射并将其传递给输出节点。  
形式上，架构由表示（G，o）定义，由两部分组成：

1.  一组可用的操作o=\{o1，o2，…\}。
2.  指定神经网络运算图的邻接矩阵G，其中Gij=k表示第-个运算放在节点和之间。

根据邻接矩阵，通过组合操作o获得架构：![在这里插入图片描述][20210128185109647.png]  
所得到的神经网络按照拓扑顺序从其前一个节点j的特征映射xj中依次计算每个节点i的特征映射xi。

这里，| G |是图中的节点数，是将多个特征映射合并为一个特征映射的操作，在我们的实验中实现为深度连接。元素加法的另一种选择是不太灵活的，因为它要求传入的特征映射包含相同数量的通道，并且如果得到的结果紧接着是1×1卷积，则通过级联来严格包含。

2.2 层次结构表示（其中较小的图形主题被用作构建块来形成更大的主题）

**层次结构表示法的核心思想是在不同层次上具有多个基元，其中较低层次的基元在构建较高层次的基元时用作构建块（操作）。**  
考虑一个层次结构，其中第-层包含主题。最高级别=L只包含一个与完整架构相对应的基序，最低级别=1我是基元操作的集合。我们递归地定义米-层次的主题，作为低层基序o的组成，根据其网络结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]  
图1：一个三层层次结构表示的示例。图1的下面一行显示了如何将一级基本操作o(1)1 , o(1)2 , o(1)3组装成二级基序o(2)1。最上面一行显示了如何将二级主题o(2)1 , o(2)2 , o(2)3组装成三级主题o(3)1。

因此，层次结构表示由定义，因为它是由所有层次的基序网络结构和底层基元集决定的。装配过程如图所示。

2.3 基本操作：

*  六个基本操作：  
    •信道的1×1卷积C级  
    •3×3深度卷积  
    •信道的3×3可分离卷积C级  
    •3×3最大池  
    •3×3平均池  
    •identify

如果适用的话，所有的原语都是步幅一的，卷积特征图被填充以保持其空间分辨率。所有卷积运算之后是批量标准化和ReLU激活（Ioffe&Szegedy，2015）；它们的通道数固定为一个常数。我们注意到具有更大感受野和更多通道的卷积可以表达为这些原语的基序。事实上，通过在链结构中叠加3×3卷积可以获得大的感受野（Simonyan&Zisserman，2014），通过深度串联合并多个卷积的输出可以获得更宽的卷积和更多的通道。C级  
我们还引入了一个特殊的op，它表示节点和节点之间没有边。它被添加到每个级别的操作池中。

**3 进化架构搜索**

3.1 突变  
分层基因型的单个突变由以下操作序列组成：  
![在这里插入图片描述][20210128185951761.png]  
（motif为模板）

当前层数为2，第一步将l设置为2，变异公式如下：  
![在这里插入图片描述][20210128190301878.png]  
l,m,i,j,k,k’从各自区域的均匀分布中随机抽样得到，突变有三种修改方式：  
![12.    添加新边：13.    更改现有边：14.    删除现有边：][12. _13. _14.]

3.2 初始化

为了初始化基因型群体，我们使用以下策略：

*  创建一个不重要的的基因，每个模板都用identify进行连接
 *  通过应用大量（如1000个）随机突变使基因型多样化。

与以前的研究使用常见网网络进行基因初始化，这样的初始化不仅能很好的覆盖不常见的网络搜索空间，还能去除人工初始化带来的传统偏向。

3.3 搜索算法  
我们的进化搜索算法基于**锦标赛选择**（Goldberg&Deb，1991）。

> 从随机基因型的初始群体开始，锦标赛选择提供了一种机制，从群体中挑选有希望的基因型，并将其突变的后代放回群体中。通过重复这一过程，人口素质会随着时间的推移不断提高。我们总是从零开始为固定的迭代次数训练一个模型，我们将单个模型的训练和评估称为一个进化步骤。经过一段固定的时间后，选择整个群体中适合度（验证准确度）最高的基因型作为最终输出。

比赛是由从当前有效群体中随机抽取的一组基因型组成的，其中适应值最高的个体获胜。选择压力由锦标赛规模控制，在我们的例子中，**锦标赛规模被设置为种群规模的5%**。我们**不从人群中去除任何基因型**，让它随时间增长，保持结构多样性。我们的进化算法类似于最近大规模进化方法中使用的二进制锦标赛选择（Real等人，2017）。  
（选择5%好的突变得到新网络，训练手册时候放回种群，重复，种群数量增大，选取最终最好的）

> 我们还研究了**随机搜索**，一种在文献中没有充分探讨的简单策略，作为进化的替代方法。在这种情况下，随机生成基因型群体，以进化中相同的方式计算每个基因型的适合度，并选择适合度最高的基因型作为最终输出。**这种方法的主要优点是可以在整个群体中并行运行，大大减少了搜索时间。**

3.4 实施

我们的**分布式实现是异步的**，**由一个负责基因型进化的控制器controller·和多个负责基因型评估（即测试）的工作人员worker组成。双方都可以访问一个记录基因型总体及其适合度的共享表格式存储器M**，以及一个包含需要评估的适合度未知的基因型的**数据队列Q**。

具体地说：  
每当工人可用时（worker多余），控制器将执行来自M的基因型的锦标赛选择，随后对所选基因型进行变异并将其插入Q以进行适合度评估 **（算法1）**  
每当有一个基因型可用时，工作人员就会从Q中提取一个未评估的基因型，将其组装成一个体系结构，进行训练和验证，然后用M（**算法2** ）记录验证精度（适合度）。  
体系结构是从零开始训练的，具有随机权重初始化的固定数量的步骤。我们无法依赖权重继承（没有权重共享加速），尽管将其纳入我们的系统是可能的。请注意，在体系结构演进过程中，不需要同步，并且所有工作线程都已被完全占用。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]  
（我的理解：worker多余，从M中选择基因突变（算法1），放回Q中测试，测试后放到M（算法2））

**4 实验和结果**  
4.1 实验装置  
在我们的实验中，我们使用提出的搜索框架来学习卷积单元的结构，而不是整个模型。原因是我们希望能够快速计算候选体系结构的适应度，然后将其转移到一个更大的模型中，这是通过使用更少的单元进行适应度计算，使用更多的单元进行完整的模型评估来实现的。类似的方法最近也被用于（Zoph et al.，2017；Zhong et al.，2017）。  
架构搜索完全是在CIFAR-10训练集上进行的，我们将其分为两个子集：40K训练和10K验证图像。在训练子集上对候选模型进行训练，在验证子集上对候选模型进行评价，得到适合度。搜索过程结束后，将选定的单元插入到一个大型模型中，该模型在训练和验证子集的组合上进行训练，并在CIFAR-10测试集上报告精度。我们注意到，测试集从不用于模型选择，它只用于最终的模型评估。我们还评估了在CIFAR-10上学习的细胞，在ImageNet挑战数据集  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]  
图2：使用架构搜索优化的单元构建的图像分类模型。左上：在CIFAR-10上进行架构搜索时使用的小型模型。右上：用于学习单元评估的大型CIFAR-10模型。底部：用于学习单元评估的ImageNet模型。  
论文附录：  
cell的第一层：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]  
第二层：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 6]

对于CIFAR-10实验，我们使用了一个模型，该模型由3×3个通道卷积组成，然后是3组学习的卷积细胞，每组包含细胞。在每个单元（带输入通道）后插入3×3可分离卷积，如果是组中的最后一个单元，则有跨步2和2c通道，否则有跨步1和通道。**这些卷积的目的是控制通道的数量以及降低空间分辨率。最后一个单元后面是全局平均池和线性softmax层。**

对于适应度计算，我们使用一个较小的模型，**如图2（左上角）所示**。它使用0.9动量的SGD进行5000步的训练，从学习率0.1开始，在4000和4500步之后减少10倍。批量大小为256，重量衰减值为3·10−4。我们采用标准的训练数据增强方法，从32×32图像中随机抽取24×24作物，然后随机水平翻转。在全尺寸32×32图像上进行评估。

关于方差的注记。我们发现，由于优化而产生的差异是不可忽略的，并且我们相信报告它对于执行公平比较和评估模型能力非常重要。在训练CIFAR模型时，我们观察到使用完全相同的设置时，标准偏差高达0.2%。我们采用的解决方案是计算适合度作为4次训练评估运行的平均准确率。

为了评估CIFAR-10上的学习单元体系结构，我们使用了一个较大的模型，**如图2（右上角）所示**。较大的模型训练80K步，从学习率0.1开始，在40K、60K和70K步之后，学习率降低了10倍。其余的训练设置与用于适应度计算的设置相同。我们报告了5次训练评估的平均值和标准差。

对于ILSVRC ImageNet挑战数据集的评估（Russakovsky et al.，2015），我们使用了与CIFAR类似的体系结构，并做了以下更改。输入的299×299图像通过两个卷积层，每个卷积层有32个和64个通道，跨距为2。接着是4组卷积单元，其中第一组包含一个单元（具有=64个输入通道），其余三组各具有=2个单元\*\*（图2，底部\*\*）。我们使用带动量的SGD，它运行200K步，从学习率0.1开始，在100K、150K和175K步之后，学习率降低了10倍。批量大小为1024，重量衰减为10−4。我们没有使用辅助损失、重量平均值、标签平滑或路径丢失，这些经验证明是有效的（Zoph等人，2017）。训练增强与中的相同（Szegedy et al.，2016），包括随机裁剪、水平翻转以及亮度和对比度变化。我们报告了ILSVRC验证集上的单作物top-1和top-5错误。

4.2 CIFAR-10的体系结构研究  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 7]  
图3：flat平面和hier层次表示的适应度和参数数量与演化步骤。左：每个进化步骤产生的基因型的适合度。中间：在每个进化步骤之前产生的所有基因型的最大适合度。右图：使用每个进化步骤产生的基因型构建的小型CIFAR-10模型中的参数数量。

我们使用200个GPU工作人员，在平面和层次基因型上运行7000个步骤的进化。随机初始化的种群的初始大小是200，随后由于锦标赛选择和变异而增长。3). 对于层次表示，层级为3，其中每层模板的操作为M1=6，M2=6，M3=1。每个二级基序是一个| G(2)|=4节点的图，三级基序是一个| G（3）|=5节点的图。每一个二级模体后面是一个1×1卷积，其通道数与模体输入上的通道数相同，以减少参数的数目（用来降维）。

进化过程如图3所示。左图显示了在进化的每一步产生的基因型的适合度：适合度最初增长很快，随着时间的推移趋于平稳。中间的图显示了每个进化步骤所观察到的最佳适应度。由于前200个步骤对应于随机初始化，并且此后开始突变，因此在步骤200处找到的最佳架构对应于对200个架构进行随机搜索的输出。

图3（右）显示了使用每一步产生的基因型构建的小网络（用于适应度计算）中的参数数量。值得注意的是，平坦基因型实现了更高的适应度，但代价是参数计数更大。因此，我们还考虑了平坦基因型的一个参数约束变量，其中只允许参数数目在固定阈值下的基因型；选择阈值使得平坦基因型具有与层次基因型相似的参数数目。在这种情况下，层次型和扁平型基因型达到相似的适应度。

为了证明层次结构适应度的提高与相应的大模型训练到收敛的精度的提高相关，我们在图4中绘制了相对精度的提高。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 8]

图4：进化过程中精确度的提高，与第一个随机基因型有关。小模型是进化过程中用于适应度计算的模型（其绝对适应度值如图3（中间）中的红色曲线所示）。大型模型是部署演化单元体系结构进行训练和评估的模型。

**就架构搜索时间而言，在一个p100 gpu上计算一个网络架构的适合度需要1个小时（需要4轮训练和评估）。因此，使用200个gpu，在200个架构上执行随机搜索需要1小时，使用7000个步骤进行进化搜索需要1.5天。这明显快于（Real et al.，2017）报告的使用250 GPU的11天和（Zoph et al.，2017）报告的使用450 GPU的4天。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 9]  
表1:CIFAR-10测试集和ILSVRC验证集的分类结果，使用各种表示和搜索方法得到的体系结构。  
4.3 CIFAR-10和IMAGENET的体系结构评估  
我们现在开始评估在CIFAR-10和ImageNet上使用随机和进化搜索发现的体系结构。结果见表1。  
首先，我们注意到随机抽样的体系结构已经表现得出奇的好，我们将其归因于体系结构空间的表示能力。第二，在CIFAR-10和ImageNet上，随机搜索200多个体系结构都获得了非常有竞争力的结果，这是非常显著的，因为它需要1小时才能完成。这表明构造良好的体系结构表示，再加上多样化的采样和简单的搜索，形成了一个简单但强大的体系结构搜索基线。我们的最佳结果是使用分层表示的进化实现的：CIFAR-10测试集（使用=64个通道）的分类错误为3.75%±0.12%，更多通道（=128）的分类错误进一步提高到3.63%±0.10%。在ImageNet验证集上，我们实现了20.3%的top-1分类误差和5.2%的top-5分类误差。我们将这些结果放在表2和表3的最新技术背景下。我们使用进化架构搜索在CIFAR-10上获得了最佳的发布结果，并且与CIFAR-10和ImageNet上的最佳发布方法相比，我们还展示了具有竞争力的性能。我们的ImageNet模型有64M参数，与Inception-ResNet-v2（55.8M）相当，但比NASNet-A（22.6M）大。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 10]

进化的层次单元在附录A中可视化，它显示了架构搜索已经发现了许多跳过连接。例如，单元包含输入和输出之间的直接跳过连接：节点1和节点5由Motif 4连接，Motif 4又包含输入和输出之间的直接连接。该单元还包含几个内部跳过连接，通过Motif 5（同样带有一个类似Motif 4的从输入到输出的跳过连接）。

**5 结论**  
我们提出了一种高效的进化方法，该方法基于一种新的分层表示方案，以较小的运算作为构建块来形成较大的运算。值得注意的是，我们表明，即使使用简单的搜索算法，如进化或随机搜索，当与设计良好的架构表示相结合时，也可以获得很强的结果。我们最好的架构在CIFAR-10上产生了进化方法中最先进的结果，并成功地扩展到ImageNet，具有很强的竞争力。

[20210128185109647.png]: /images/20221119/c5c102a4849d47d7a004e94210dfe9b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]: /images/20221119/4c27d6218ea04c18b5c38a6546f8bfae.png
[20210128185951761.png]: /images/20221119/e2ee57e0ffd442c4916fb6f9dff57054.png
[20210128190301878.png]: /images/20221119/7fd6f3b3f1eb47ddb5bd4610c6d379be.png
[12. _13. _14.]: /images/20221119/0559ff2857a74f58a3ecd078fa67a7c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]: /images/20221119/4750568a393d454895ccf38adc4fab59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]: /images/20221119/e4a2f46996664a7d8e6b0be4cc94295f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]: /images/20221119/83c0c6b7dde84ded9ff59afe3b103aa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]: /images/20221119/a8be0777786646b78878ad6ea2799efb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]: /images/20221119/2fa8e929f2974c85b3576d0fe13f0b7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 6]: /images/20221119/a9015468377042e7a8accc9d36dbe56a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 7]: /images/20221119/dc6569382c0d4b24937a8e26d19e3736.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 8]: /images/20221119/95f6f9d6e5884e649a0a5dc0b7997e91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 9]: /images/20221119/5803b7331beb492bac14f0bc4825f325.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 10]: /images/20221119/2f226243fa4a436186c03d2d789607e1.png