深度进化强化学习第一弹~

爱被打了一巴掌 2022-11-11 05:29 494阅读 0赞

> hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Embodied Intelligence via Learning and Evolution  
> ，这是一篇李飞飞等提出深度进化RL，我们一起看看吧~

> 背景介绍：随着强化学习，深度学习的发展，深度强化学习也在逐步发展，最近，李飞飞和其他几名学者提出了一个新的计算框架——深度进化强化学习——Deep Evolutionary Reinforcement Learning (DERL)，基于该框架，具身智能体可以在多个复杂环境中执行多个任务。

> **深度学习：** 是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。  
> **强化学习：** 又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。  
> **深度强化学习：** 深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。  
> **深度进化强化学习：** Deep Evolutionary Reinforcement Learning (DERL)，基于该框架，具身智能体可以在多个复杂环境中执行多个任务。

**摘要：**

复杂环境生态位中相互交织的学习和进化过程导致了形态形式的显著多样性。 此外，动物智力的许多方面都深深地体现在这些进化的形态中。 然而，控制环境复杂性、进化形态和智能控制可学习性之间关系的原则仍然难以捉摸，部分原因是在进化和学习的硅实验中进行大规模的挑战。 我们介绍了**深度进化强化学习(DERL)：** 一种新的计算框架，它可以进化出不同的智能体形态，只使用低水平的自我中心感觉信息来学习复杂环境中具有挑战性的运动和操作任务。 利用DERL，我们展示了环境复杂性、形态智能和控制的可学习性之间的几种关系。 首先，环境复杂性促进了形态智能的进化，这是通过形态学促进学习新任务的能力来量化的。其次，进化迅速选择学习得更快的形态，从而使在早期祖先生命后期学习的行为能够在其后代生命早期表现出来。在在复杂环境中学习和进化的智能体中，这个结果构成了一个长期推测的形态学鲍德温效应的第一次证明。第三，我们的实验为鲍德温效应和形态智能的进化提供了基础，这些形态更物理稳定和节能，因此可以促进学习和控制。

**1.介绍**

在过去的6亿年里，从一种古老的双层蠕虫开始，进化产生了各种各样的“最美丽的无穷无尽的形式”，并最终形成了一套不同的动物形态。 此外，这些动物通过利用它们进化的形态来学习复杂的任务，表现出显著程度的体现智能。 事实上，具体化认知领域认为，智能行为可以由其形态很好地适应其环境的代理人快速学习，相反，人工智能(AI)的领域主要集中在无实体认知上，例如在语言、视觉或游戏等领域。 创建具有良好适应形态的人工具体化智能体，能够在不同的、复杂的环境中学习控制任务，这是具有挑战性的，因为以下两个困难：（1)通过组合大量可能的形态进行搜索；(2）通过终身学习评估适应度所需的计算时间。 因此，先前的工作要么是在严重有限的形态学搜索空间中进化出智能体，要么是专注于在给定固定手设计的形态学的情况下寻找最优参数。 此外，评估适应度的困难迫使先前的工作：（1）避免直接从原始感官观察中学习自适应控制器；（2)学习很少(≤100)参数的手设计控制器9-11；(3)学习预测形态学的适应度；(4）通过直接传递跨代的学习信息来模拟拉马克而不是达尔文进化论。 此外，以前的工作也主要限于在平坦地形上移动的简单任务，其中的智能体agent具有很少的自由度(DoF)或由长方体组成的身体计划，以进一步简化学习控制器的问题。  
为了克服这些实质性的限制，我们提出了深度进化强化学习(DERL)，(如图1），  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]

一个计算框架，使我们能够同时扩展跨三个复杂轴（环境、形态和控制）的具体化智能体的创建。 DERL打开了在硅实验中进行大规模实验的大门，以获得科学见解，了解学习和进化如何协同创造环境复杂性、形态智能和控制任务的可学习性之间的复杂关系。此外，DERL通过创建具身智能体不仅可以用更少的数据学习，而且可以推广到解决多个新任务，也可以减轻强化学习的样本低效率。DERL通过模仿世世代代进化的交织过程来搜索形态，以及一生内的神经学习，以评估给定的形态学通过智能控制解决复杂任务的速度和程度。

**我们的关键贡献是：**

*  （1）一种有效的异步方法来并行计算基于许多计算元素的计算，从而允许我们利用在AI的其他领域如此成功的计算和模型的规模，并将其引入进化机器人领域；
 *  （2）引入UNIMAL，普通动物的形态设计空间，具有高度表达但又丰富的有用可控形态；
 *  （3）是一种范式，通过评估一套涉及稳定性、敏捷性和操作测试的测试任务来评估直接嵌入于强化学习速度的智力。接下来，我们描述DERL背后的工程元素，它所赋予的科学见解，以及创建它所可能的更高效和多任务RL代理的能力。

**DERL: Computational framework for creating embodied agents**

以前的进化模拟通常使用世代进化，其中在每一代人中，整个种群同时被应用于最适个体的突变所取代。 然而，这种范式在创建具体化智能体方面的规模很小，因为在任何进一步的进化发生之前，训练一个庞大人口中的每个成员都会带来巨大的计算负担。 受神经架构搜索的最新进展的启发，我们使用**基于锦标赛的进化**以分布式异步方式解耦学习和进化事件。 具体来说，每个进化运行都从一个**P=576**个具有独特拓扑的智能体种群开始，以鼓励不同的解决方案。 初始群体通过并行强化学习27(RL)进行终身学习，平均最终奖励决定了适应度。 初始化后，每个worker(CPU)通过在4组中进行比赛独立操作，其中优胜劣汰的个体被选择为父类，并在通过终身学习评估其适应度后向种群中添加一个突变的副本(子）。 为了保持人口的规模固定，我们只认为最近的P个智能体是活的。 通过从世代到异步并行进化，我们不需要学习在任何进一步的进化发生之前完成整个种群。 相反，一旦任何智能体完成学习，worker可以立即执行另一个步骤的选择，突变和学习在一个新的锦标赛。

对于学习，每个智能体通过只接收低水平的自我中心本体感觉和外部感觉观察来感知世界，并通过由深度神经网络的参数决定的随机策略来选择其行为(图1b）。 通过近端策略优化(PPO)算法学习。 有关我们的智能体agent使用的感官输入、神经控制器结构和学习算法的详细信息，请参阅附录B。

总的来说，DERL使我们能够在1152个CPU中进行大规模的实验，其中涉及平均10代进化，搜索和训练4000种形态，每个形态有500万个智能体-环境的相互作用(如：学习迭代。针对每个形态学的）。在任何给定的时刻，由于我们可以在并行异步锦标赛中训练288种形态，因此整个学习和进化过程在不到16个小时内完成。据我们所知，这是迄今为止同时进行的形态进化和RL的最大规模的模拟。

**UNIMAL：一个普通动物的形态设计空间**

为了克服以往形态学搜索空间的有限表现力，我们引入了一个普通动物(UNIMAL)设计空间(图1e)。 我们的基因型是一棵运动树，对应于通过电机驱动铰链关节连接的铰接式三维刚性部件的层次结构。 运动树的节点由两个组件类型组成：表示形成树根的头部的球体和表示智能体四肢的圆柱体。 进化通过三种突变操作(见附录A)进行无性繁殖：（1）通过生长或删除肢体缩小或生长运动树(图1d；（2）修改现有四肢的物理性质，如它们的长度和密度(图1d)；（三）改变肢体关节的性质，包括自由度(DoF)、旋转角度限制和齿轮比。重要的是，我们只允许保持双边对称的配对突变，这是所有动物身体计划的一个进化上古老的保存特征，起源于大约6亿年前。一个关键的物理结果是，每个主体的质心都位于下垂的平面上，从而降低了学习左右平衡所需的控制程度。尽管有这种约束，我们的形态设计空间具有高度的表现力，包含大约1018个独特的主体形态，且小于10条肢体。

**在复杂的环境中实现了不同形态的成功进化**

DERL使我们第一次能够超越在平坦地形上的移动，同时进化形态，并对于智能体来说，在3种日益复杂的环境（图1c）学习控制器：（1）平坦地形(FT)；（2）可变地形(VT)；（3）可变地形(MVT)中的非拉伸操纵。 VT是一个极具挑战性的环境，因为在每一集中，一个新的地形是通过随机采样一系列障碍产生的。 事实上，对于一个简单的9DoF平面2D步行者，先前关于在可变地形中学习运动的工作需要10^7个智能体环境交互，尽管使用了课程学习和特定于形态学的奖励函数。 由于agent必须依赖复杂的接触动力学来操纵盒子从随机位置到目标位置，同时也遍历VT，所以MVT有额外的挑战。有关这些复杂随机环境的详细描述，请参阅附录A。

DERL能够为所有3种环境找到成功的形态解决方案(图 2a；见视频以说明所学行为)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]

> 图2：多个环境中的演化动力学。 平均(n=300)和95%的引导置信区间的适应度前100个智能体在每个3个进化运行。 每个点代表一个谱系，存活到3次进化运行中的一次结束。 点大小反映了谱系累积的有益突变的总数(见附录D）。 一个血统的创始人不需要有极高的初始适应等级，以便它的血统构成一个相当高的比例的最终人口。 相反，它可以通过从较低的等级（即）开始积累许多有益的突变来实现种群丰度。 大的点是高的，在左边)。 (c-e)单一进化运行的系统发育树，其中每个点代表一个UNIMAL，点的大小反映了后代的数量，点的不透明度反映了适合度，较深的点表示更高的适合度。这些树表明，具有高适合度的后代的多个血统可以来自于适合度较低的创始人。较大的打火机点）。（f-h）Muller diagrams显示了最终人口丰度最高的前10个谱系的相对人口丰度（与c-e相同的进化过程）。每种颜色都表示不同的血统，而不透明度也表示它的适合度。恒星表示那些改变了代理拓扑结构的成功突变。并导致了一个有超过20个后代的子谱系。其余血统的丰富程度是由空白来反映出来的。（i-k）边界颜色对应的三个环境中的智能体策略的延时图像。

事实上，在进化之前，相对较高的平均初始适应度甚至（图2）反映了UNIMAL设计空间的有效性。 此外，DERL发现了多种成功的解决方案(图2 b-h)。 对于大多数进化动力学来说，保持解决方案多样性具有普遍的挑战性，因为通常只有一个解决方案及其附近的变化占主导地位。 相反，通过从整个种群同时竞争以在下一代中生存的世代进化转向异步并行的基于小锦标赛的竞赛，DERL使初始适应度较低的祖先仍然能够为最终种群贡献相对较大的高度适合的后代(图2b)。考虑到初始化的种群表现出形态多样性，这种进化动力学，由两种系统发育树可视化(图2 c-e)和Muller plots2(图2 f-h)，从而确保在不牺牲种群多样性的情况下。事实上，这组进化的形态包括双足动物、三足动物和没有手臂的四足动物的不同变化（图2 i-k，7,8)。

我们分析了在3种环境中的不同形态学描述符的进展情况（如图3）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]

> 图3：环境对不同形态学描述符的影响。在不同的环境中，不同的形态描述符平均在不同的环境中平均运行三次。阴影区域表示95%的引导置信区间。(a-c)与FT.d中进化的智能体相比，VT/MVT智能体沿正向运动方向更长，高度更短，覆盖范围是智能体形态的体积比和轴对齐边界框。与VT和MVT智能体相比，FT智能体的空间填充量更少。在所有三种环境中进化的智能体都具有相似的质量(e)和DoFs(f)。

发现环境对进化形态的强烈影响，虽然在所有环境中进化的智能体具有相似的质量和控制复杂度(由DoF≈16测量)，但与FT的智能体相比，VT/MVT的智能体沿向前运动方向往往更长，高度也更短。与通过形态的覆盖范围测量的VT/MVT智能体相比，FT智能体的空间填充更少。FT智能体较少填充空间的性质反映了一种常见的策略，即将肢体在身体上远远地分开，从而赋予它们完全的运动范围（图2i，7a，8a)，FT展览的智能体都展出了这两种产品，一种向前移动的步态和一种像蜥蜴一样的步态（图2i)。在VT中进化的智能体通常与FT相似，但有额外的机制来使步态更稳定。例如，VT智能体没有固定在头部，断裂并使向前推进，而是有两个对称的肢体，提供更大的稳定性和机动性(图2j，k，7a，b)。最后，MVT中的智能体发展了类似爪子或爪状机制的前进到达臂，能够引导盒子到达目标位置（图2k，7c，8c)。

**环境复杂性产生形态智能**  
以前对环境对进化形态的影响的少数分析集中在测量各种形态描述符或形态复杂性上。 然而，设计任何智能代理的一个关键挑战在于确保它能够快速适应任何新的任务。 因此，我们将重点放在理解这种能力是如何通过组合学习和进化而产生的，方法是将形态学中所体现的智力描述为其进化环境的结果。 具体来说，我们计算一个形态学在多大程度上促进了学习一组大型测试任务的过程。 这种方法类似于通过传递学习计算它们在下游任务上的性能来评估潜在神经表示的质量。 因此，在我们的框架中，智能形态的定义有助于更快和更好的学习下游任务。我们创造了一组8个任务(图4a参见视频以说明所学行为)）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]

> 图4：**环境复杂性促进了形态智能**。  
> a 八项测试任务，用于评估跨越稳定性、敏捷性和操作能力三个领域的形态学智能。  
> 初始智能体位置由绿色球体指定，目标位置由红色方块指定(详细任务描述见附录C)。  
> b-d 我们在每个环境的3次进化运行中选择了10种性能最好的形态。 然后，每个形态学从零开始训练所有8个测试任务与5个不同的随机种子。  
> 条形图表示中间报酬(n=50)(b-c)和工作成本(D)，误差条表示95%的引导间隔和颜色表示进化环境。  
> b 在7个测试任务中，MVT中进化的Agent比FT.c中进化的Agent表现得更好，随着学习迭代的减少((b)中的500万比©中的100万)，MVT/VT  
> Agent在所有任务中都表现得更好。 在MVT中进化的智能体更节能，这是通过较低的工作成本来衡量的，尽管没有明确的进化选择压力有利于能源效率。采用双尾Mann-WhitneyU检验评估统计学意义；∗P < 0.05; ∗ ∗ P < 0.01; ∗ ∗ ∗P < 0.001; ∗ ∗ ∗ ∗ P < 0.0001.

分为3个领域，测试代理形态的敏捷性（巡逻、点导航、障碍和探索)、稳定性(逃逸和倾斜)和操作(推箱倾斜和操纵球）能力。 每个任务的控制器都是从零开始学习的，从而确保性能的差异仅仅是由于形态的差异所致。我们首先测试的假设是，在更复杂的环境中进化会产生更智能的形态，在我们的测试任务中表现得更好(图4b)。 我们发现，在7个测试任务中，MVT中进化的智能体比FT中进化的代理表现得更好。VT智能体在敏捷性和稳定性领域的6个任务中的5个任务中比FT智能体表现得更好，但在操作任务中具有类似的性能。 为了测试学习的速度，我们用五分之一的学习迭代重复相同的实验(图4c)。 在所有任务中，MVT/VT智能体和FT智能体之间的差异现在更加明显。 这些结果表明，在更复杂的环境中进化的形态更智能，因为它们有助于更好、更快地学习许多新任务。

**证明了鲍德温形态效应的更强形式**

长期以来，人们一直推测，世代进化和一生中学习的耦合动力学是以非常不平凡的方式相互影响的。 例如，Lamarckian遗传，一个早期但现在不受欢迎的36种进化理论，假设一个人在一生中学习到的行为可以直接传递给它的后代，这样他们就可以在出生后不久作为本能获得。 然而，我们现在知道，已知的遗传特征主要是通过基因型传递给下一代的。 然而，在一个多世纪以前，Baldwin推测了另一种机制，即在进化的早期世代中，最初在一生中学习的行为将逐渐成为本能，甚至可能在后代中遗传。这种鲍德温效应在表面上看起来就像拉马克遗传，但严格意义上是达尔文的起源。这一猜想的一个关键思想是，学习本身可能带有获得技能所需的能量和时间的成本。例如，一种不能早期学会走路的动物可能更有可能死亡，从而对基因型修饰产生直接选择压力，从而加速运动的学习。更普遍的说，在任何包含一系列挑战在进化时间尺度上固定的环境中，但也伴随着一生学习期间的适应度成本，进化可能会发现基因型修改，从而导致更快的表型学习。先前对学习和进化的模拟提供了在高度简化的场景中的鲍德温效应的玩具范化。 然而，生物学家长期推测，鲍德温效应可能存在于复杂环境中的形态进化和感觉运动学习水平。 但尽管这一猜想的流行，到目前为止还没有任何先前的研究证明鲍德温效应在形态学。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]

> 图5：形态鲍德温效应及其与能源效率和稳定性的关系。平均(n=100)迭代，以实现初始种群的第75百分位数适应度，在3次进化运行中，作为世代的函数。稳定形态的分数(见附录D)平均超过每个环境的3次进化运行。这一分数在VT和MVT中高于FT，表明这些更复杂的环境产生了额外的选择压力的稳定性。  
> 对于与a.d相同的前100种代理，平均工作成本(见附录D)，在FT中进化的不同世代的说明性代理的学习曲线表明，后代不仅表现得更好，而且学习得更快。因此，整体进化同时发现更节能©、稳定(B)和简化控制的形态，从而导致更快的学习(A)。错误条(a，c)和阴影区域(b)表示95%的引导置信区间。

在我们的模拟中，我们发现了第一个存在形态鲍德温效应的证据，这反映在在所有三个环境中达到前100个代理的适应度的标准水平所需的学习时间上经过几代人的快速减少(图5a)。 值得注意的是，只有10代人的平均学习时间被削减了一半。 作为学习是如何加速的一个说明性的例子，我们展示了在FT中进化的不同代代理的学习曲线(图5d)。 第8代代理在学习结束时，不仅比第1代代理的性能好2倍，而且还可以在五分之一的时间内达到第一代代理的最终适应度。 此外，我们注意到，我们在快速学习的模拟中没有任何显式的选择压力，因为形态学的适应度完全取决于它在学习结束时的性能。 然而，进化仍然选择更快的学习者，而没有任何直接的选择压力这样做。 因此，我们实际上发现了一种比以前在文献38，39中推测的更强的鲍德温效应形式，证明了一个明确的选择压力

**形态学智能和强大的鲍德温效应的机械基础**

我们接下来寻找潜在的机械基础，以了解进化如何产生形态智能(图4b，c），以及选择更快的学习者，而没有任何直接选择压力的学习速度(例如： 图5a中鲍德温效应的更强形式)。 我们假设，沿着具体化的认知中的猜想线，进化发现了能够更有效地利用智能体和环境之间物理相互作用的被动动力学的形态，从而简化了学习控制的问题，这既可以在新的环境中更好地学习（形态智能)，也可以在世代中更快地学习(鲍德温效应）。 任何这样的智能形态都可能表现出能量效率和被动稳定性的物理性质，因此我们检查这两种性质。

我们将能源效率定义为单位质量为完成目标所花费的能源量(见附录D)。 令人惊讶的是，在没有任何直接选择压力的情况下，进化仍然被选择为节能的形态解决方案(图 5c)。 我们验证了这种能量效率不是简单地通过降低肢体密度来实现的(图3e)。 相反，在所有三个环境中，总体质量实际上都在增加，这表明能量效率是通过选择更有效地利用身体-环境相互作用的被动物理动力学的形态来实现的。 此外，更节能的形貌表现得更好(图6a），学习得更快(图6b）在任何修正的世代。同样，进化在所有3种环境中选择更被动稳定的形态(见附录D)，尽管相对于FT，VT/MVT中稳定形态的分数较高，表明在这些更复杂的环境中稳定性的相对选择压力较高(图1 5b)。 因此，随着进化时间的推移，两种能源的效率(图5c)和稳定性(图5b), 以与学习速度密切相关的方式进行改进(图5a)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]

> 图6：能量效率、适应度和学习速度之间的关系。 在3次进化运行中，适应度（终身学习结束时的奖励）与前100名代理的工作成本之间的相关性。学习速度(实现初始种群第75百分位数适应度所需的迭代与图5a相同)与(A)中相同的前100个代理的工作成本之间的相关性)。在所有世代中，更节能的形貌表现得更好（负相关)，学习速度更快(正相关）。 (a，b)shown是从双尾皮尔森相关得到的相关系数®和P值。

这些相关性表明，能量效率和稳定性可能是关键的物理原理，部分支撑了形态学智力的进化和鲍德温效应。关于鲍德温效应，能源效率的变化导致学习曲线的两个不同方面之间的形态呈正相关：生命结束时的表现和开始时的学习速度。因此，只为前者进行选择的进化过程也会含蓄地选择后者，从而解释我们所观察到的进化鲍德温效应的更强形式。关于形态智能，我们注意到MVT和VT智能体与FT智能体相比具有更智能的形态，在测试任务中有更好的性能(图4b)，特别是在减少学习迭代时（图4c)。此外，VT/MVT也比FT更节能(图4d)。对于环境复杂性的差异效应的一个直观的解释是，必须解决的子任务集在从FT到VT到MVT的环境中累积。因此，MVT智能体必须在相同学习次数的迭代中学习解决比FT代理更多的子任务。与FT相比，这可能会导致MVT/VT的稳定性和能效等理想形态特征具有较高的隐式选择压力。反过来，这些特性可以使MVT/VT智能体在新任务中实现更好、更快、更节能的性能（图4b-d)。

**结论**

因此，总的来说，DERL所实现的大规模模拟产生了关于学习、进化和环境复杂性如何相互作用以产生智能形态的科学见解，这些形态可以通过利用身体-环境相互作用的被动物理来简化控制。 有趣的是，我们发现，一种药物的适应度可以在几代进化过程中迅速转移，从它的表型能力学习到它的基因编码形态，通过鲍德温效应，这些进化的形态反过来赋予了智能体更好和更快的学习能力，在许多新的任务通过体现形态智能，很可能通过增加被动稳定性和能量效率来实现。 事实上，这种鲍德温的智力从表型转移到基因型，被推测为释放表型学习资源，以学习更复杂的行为在动物，包括出现语言和模仿在人类。这表明，正如我们的大规模模拟学习和进化可以加速强化学习通过形态智能的出现，进一步大规模探索学习和进化在其他情况下可能产生新的科学见解对快速学习的智能行为的出现，以及新的工程进步在机器中实例化它们的能力。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]: /images/20221022/f8e4c92260704c86b717702ac1c1397b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210319193324448.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210319193449799.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210319193535993.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2021031919362824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210319193717799.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz,size_16,color_FFFFFF,t_70