Center Loss: A Discriminative Feature Learning Approach for Deep Face Recognition（论文阅读笔记） ╰半橙微兮° 2021-11-27 03:06 326阅读 0赞 # 摘要 # 卷积神经网络(CNNs)在计算机视觉领域得到了广泛的应用，极大地提高了计算机视觉领域的技术水平。在现有的神经网络中，大多采用softmax损失作为监督信号来训练模型。为了提高对深度学习特征的识别能力，提出了一种新的人脸识别监控信号——**center loss**。具体来说，**center loss同时学习每个类的深度特征中心**，并惩罚深度特征与其对应的类中心之间的距离。更重要的是，我们证明了该中心损失函数在神经网络中是可训练的，易于优化。通过**对softmax loss和center loss的联合监督**，我们可以训练一个鲁棒的CNNs，尽可能多的获得具有两个关键学习目标的深层特征，即**类间的离散性**和**类内的紧凑性**，这对人脸识别非常重要。令人鼓舞的是，我们的CNNs(在这样的联合监督下)在几个重要的人脸识别基准上达到了最先进的精度，这些基准包括Labeled Faces in the Wild(LFW)、YouTube Faces(YTF)和MegaFace Challenge。尤其是我们的新方法实现最好的结果MegaFace(最大的公共领域面临基准)的协议下小训练集(包含500000张图片和20000人),显著改善以前的结果和设置新的先进的人脸识别和验证任务。 # 1，引言 # 卷积神经网络(Convolutional neural networks, CNNs)在视觉社区上取得了巨大的成功，显著改善了目标\[11,12,18,28,33\]、场景\[41,42\]、动作\[3,16,36\]等分类问题的研究现状。它主要得益于大规模的训练数据\[8,26\]和端到端学习框架。最常用的CNNs进行特征学习和标签预测，将输入数据映射到深层特征(最后一个隐藏层的输出)，然后映射到预测标签，如图1所示。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70][] **图一 卷积神经网络的典型架构** 在一般目标、场景或动作识别中，可能测试样本的类都在训练集内，也称为闭集识别。因此，预测标签的性能占主导地位，softmax损失能够直接解决分类问题。这样，标签预测(最后一个完全连接的层)就像一个线性分类器，深入学习的特征易于分离。 对于人脸识别任务，深入学习的特征不**仅需要是分离的**，**还需要有区分性**。由于预先收集所有可能的训练测试identities是不切实际的，因此CNNs中的标签预测并不总是适用。**深入学习的特性需要具有足够的鉴别性和泛化性，以便在没有标签预测的情况下识别新的未知类。**区分能力在紧密的类内变化和可分离的类间差异中都具有特征，如图1所示。最近邻(NN)\[7\]或k-近邻(k-NN)\[9\]算法可以很好地对特征进行分类，而这些算法并不一定依赖于标签预测。然而，softmax的损失只会鼓励特性的可分离性。由此产生的特征对人脸识别不够有效。 在神经网络中构造高效的特征识别损失函数是非平凡的。由于随机梯度下降(SGD)\[19\]对基于mini-batch的神经网络进行了优化，不能很好地反映深度特征的全局分布。由于训练集规模庞大，每次迭代都要输入所有的训练样本是不切实际的。contrastive loss\[10,29\]和triplet loss\[27\]作为替代方法，分别为图像对和三元组构造了损失函数。然而，与图像样本相比，**训练对（training pairs）或三元组（triplet）的数量显著增加。**它不可避免地导致缓慢收敛和不稳定。通过仔细选择图像对或三元组，这个问题可能会部分缓解。但它大大增加了计算复杂度，使训练过程变得不方便。 为了有效提高神经网络中深度学习特征的识别能力，**提出了一种新的损失函数——centerl oss函数**。具体来说，我们**为每个类的深层特性学习一个中心(一个与特征具有相同维度的向量)**。在训练过程中，我们**同时对中心进行了更新，使深层特征与其对应的类中心之间的距离最小化。**神经网络在softmax loss和center loss的联合监督下进行训练，利用超参数来平衡这两个监控信号。直观地说，softmax loss迫使不同类的深层特性保持分离。center loss有效地将相同类的深层特性拉到它们的中心。在联合监督下，不仅扩大了类间特征的差异，而且减少了类内特征的变异。因此，深入学习的特征的识别能力可以得到极大的增强。我们的主要贡献总结如下。 1，我们提**出了一种新的损失函数(称为中心损失)来最小化深度特征的类内距离**。据我们所知，这是第一次尝试使用这种损失函数帮助监督CNNs的学习。实验结果表明，在中心损失和softmax损失的共同监督下，可以获得鲁棒人脸识别的高分辨特征。 2，结果表明，提出的损失函数在神经网络中易于实现。我们的CNN模型是可训练的，可以通过标准的SGD直接优化。 3，我们MegaFace Challenge\[23\](最大的公共领域人脸，100万张人脸识别)上和设置新的先进的评估协议下的小训练集展示了大量的的实验。我们也在Labeled Faces in the Wild（LFW）\[15\]和YouTube的脸(YTF)数据集\[38\]上验证了我们新算法的极好性能。 # 2，相关工作 # 近年来，通过深度学习实现的人脸识别技术取得了一系列突破\[25、27、29、30、34、37\]。将一对人脸图像映射到一个距离的想法是从\[6\]开始的。他们训练Siamese网络来驱动相似度指标对positive pairs小，对negative pairs大。Hu等人研究了一种非线性变换，得到了具有正负人脸图像对边界的判别深度度量。有一些方法需要图像对作为输入。 最近，\[31,34\]通过挑战识别信号(softmax loss function)来监控CNNs的学习过程，为深入学习的特征带来更丰富的识别相关信息。之后\[29,37\]采用了联合身份验证监督信号，使得识别特征更加具有可分性。\[32\]通过在每个卷积层上增加一个全连接层和损失函数来增强监督。triplet loss的有效性已在\[21,25,27\]中得到证明。通过深度嵌embeddings，使anchor与positive之间的距离最小，使anchor与negative之间的距离最大，直到边缘满足为止。它们在LFW和YTF数据集中实现了最先进的性能。 # 3，提出的方法 # 在本节中，我们将详细说明我们的方法。我们首先使用一个toy示例直观地显示深入学习的特性的分布。受分布的启发，我们提出了中心损失来提高深入学习特征的判别能力，并进行了一些讨论。 ## 3.1 一个toy示例 ## 本节给出了MNIST\[20\]数据集的一个玩具示例。我们将LeNets\[19\]修改为一个更深更宽的网络，但是将最后一个隐藏层的输出数量减少到2(这意味着深度特征的维数为2)，这样我们就可以直接将特征绘制在二维曲面上进行可视化。表1给出了网络体系结构的更多细节。softmax损失函数如下。 **表1。我们在toy示例中使用的CNNs架构称为LeNets++。一些卷积层之后是最大池化。(5,32)/1,2×2为2个级联卷积层，级联卷积层有32个尺寸为5×5的滤波器，其中stride和padding分别为1和2。2/2,0 表示网格为2×2的最大池化层，其中stride和padding分别为2和0。在LeNets++中，我们使用参数校正线性单元(PReLU)\[12\]作为非线性单元。** ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 1][] ![20190723163819221.png][] 式1中，![20190723163917955.png][]表示第 i 个深度特征，属于第![20190723163944949.png][] 类。d 是特征维度。![20190723164036979.png][]表示![20190723164106699.png][]在最后一个全连接层中的第 j 列权重，![20190723164125843.png][]为偏置项。mini-batch的size和类的数量分别为 m 和 n。为了简化分析，我们省略了偏差。(事实上，性能几乎没有什么不同)。 得到的二维深度特征如图2所示，以说明其分布情况。由于最后一个全连接层的作用类似于一个线性分类器，不同类的深层特征由决策边界来区分。从图2可以看出：**(1)在softmax loss的监督下，深度学习的特征是可分离的**，**(2)深度特征没有足够的区分性，因为它们仍然表现出显著的类内差异**。因此，直接使用这些特征进行识别是不合适的。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 2][] **图2所示。(a)训练集(b)测试集中深度学习特征的分布，均在softmax loss的监督下，其中我们使用50K/10K训练/测试分割。不同颜色的点表示不同类的特征。彩色效果最佳。(color figure online)** ## 3.2 Center loss ## 那么，如何开发一个有效的损失函数来提高深度学习特征的判别能力呢?**直观地说，在保持不同类的特性可分离的同时最小化类内的变化是关键。**为此，我们提出了中心损失函数，如式2所示。 ![20190723164539968.png][] ![201907231646264.png][]表示深度特征的第 ![20190723164651485.png][] 类中心。该公式有效地**描述了类内变化**。理想情况下，![20190723164731266.png][] 应该随着深度特性的变化而更新。换句话说，我们**需要考虑整个训练集，并在每次迭代中对每个类的特征进行平均**，**这是低效甚至不切实际**的。因此，中心损失不能直接使用。这可能是迄今为止CNNs从未使用过这种中心丢失的原因。 为了解决这个问题，我们做了**两个必要的修改**。**首先，我们不针对整个训练集更新中心，而是基于mini-batch执行更新**。在每次迭代中，**计算中心的方法是平均相应类的特征**(在本例中，一些中心可能不会更新)。**第二，避免大扰动引起的误标记样本，我们用一个标量 α 控制中心的学习速率。** 计算 ![20190723165140126.png][] 相对于 ![20190723165151248.png][] 的梯度和![2019072316523017.png][]的更新方程为： ![20190723165125711.png][] 如果条件满足，δ(condition) = 1，否则δ(condition) = 0)。α 限制在\[0,1\]范围内。我们采用softmax损失和center损失的联合监督来训练神经网络进行特征识别学习。公式如式5所示。 ![20190723165409475.png][] 显然，由中心损失监督的神经网络是可训练的，可以通过标准SGD进行优化。一个标量 λ 是用来平衡两个损失函数。传统softmax损失可以被认为是一种特殊情况的**共同监督**,如果 λ 设置为0。在算法1中，我们总结了联合监控下CNNs的学习细节。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 3][] 我们也进行实验来说明 λ 分布的影响。图3显示了不同的 λ 导致不同的深度特征分布。采用合适的 λ,，深深度特征的辨别力特性可以显著增强。此外,特征在一个广泛的 λ 范围内是有区别的。因此，联合监督有利于深度学习特征的识别能力，这对人脸识别至关重要。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 4][] **图3所示。在softmax loss和center loss共同监督下，深度学习的特征分布。不同颜色的点表示不同的类别特征。不同的λ导致不同深度特征分布(α= 0.5)。白点(c0, c1，…，c9)表示10个深度特征的类中心。彩色效果最佳。** ## 3.3，讨论 ## **联合监督的必要性**。**如果我们只使用softmax loss作为监督信号，那么所得到的深度学习特征将包含较大的类内变化**。另一方面，**如果我们仅仅通过中心损失来监督CNNs，那么我们所学习到的深度特征和中心就会退化为零(此时中心损失非常小)**。单纯使用这两种方法都不能实现特征识别学习。因此，有必要将二者结合起来，共同对CNNs进行监督。 **与contrastive和triplet loss的比较**。最近，contrastive损失\[29,37\]和triplet损失\[27\]也被提出，以增强对深度学习的人脸特征的识别能力。然而，contrastive损失和triplet失在构成训练集中的样本对或样本triplets时，都存在数据急剧膨胀的问题。我们的中心损失与softmax损失要求相同，不需要对训练样本进行复杂的重组。因此，我们的CNNs的监督学习更加有效和易于实现。此外，我们的损失函数更直接地针对类内紧性的学习目标，这对区分特征学习非常有益。 # 4，实验 # 必要的执行细节在第4.1节。然后，在4.2节中我们调查了参数λ 和 α 的敏感性。在第4.3和4.4节中，我们对几个公共领域的人脸数据集(LFW\[15\]、YTF\[38\]和MegaFace Challenge\[23\])进行了广泛的实验，以验证该方法的有效性。 ## 4.1 实现细节 ## **预处理。**利用最近提出的\[40\]算法对图像中的所有人脸及其landmark进行检测。我们使用**5个landmark**(两只眼睛、鼻子和嘴角)进行相似性变换。当检测失败时，如果图像在训练集中，我们简单地丢弃它，如果是测试图像，则使用提供的landmark。人脸裁剪为112×96 RGB图像。按照之前的约定，RGB图像中的每个像素(在\[0,255\]范围内)都是通过减去127.5然后除以128来标准化的。 **训练数据。**我们使用网络采集的训练数据，包括CASIAWebFace \[39\]， CACD2000 \[4\]， Celebrity+\[22\]。在删除了测试数据集中出现的带有身份的图片后，总共约有70万张来自17189名独立用户的图片。在第4.4节中，我们只使用49万张训练数据，遵循小训练集的协议。与\[27\](200M)、\[34\](4M)、\[25\](2M)相比，是一个小规模的训练集。 **CNNs中细节设置。**我们使用经过修改的Caffe\[17\]库实现CNN模型。本节中所有CNN模型都是相同的架构，细节如图4所示。为了公平比较，我们分别在softmax loss(模型A)、softmax loss + contrastive loss(模型B)、softmax loss + center loss(模型C)的监督下训练了三种模型。对于模型A和模型C，学习速率从0.1开始，在16k、24k迭代时除以10。一个完整的训练在28k次迭代中完成，大约花费14h。对于模型B，我们发现它收敛得更慢。因此，我们将学习率初始化为0.1，并在24k、36k迭代时将其切换。总迭代量为42 K，花费22小时。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 5][] **图4所示。用于人脸识别实验的CNN架构。采用联合监督。卷积层和局部卷积层的滤波器尺寸均为3×3，步长为1，其次为PReLU\[12\]非线性单元。三个局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享。卷积层的特征图数为128，局部卷积层的特征图数为256。最大池网格为2×2，步长为2。将第4池化层和第3局部卷积层的输出连接为第1全连接层的输入。全连接层的输出尺寸为512。彩色效果最佳。(颜色图在线)** **测试细节设置。**深度特征来自于第一个FC层的输出。我们提取每个图像及其水平翻转图像的特征，并将它们concatenate起来作为表示。得分由PCA后两个特征的余弦距离计算得到。最近邻\[7\]和阈值比较用于识别和验证任务。注意，我们只对所有测试使用一个模型。 ## 4.2 参数 λ 和 α 上的实验 ## 超参数 λ 主导内部类变化，**α 控制模型内中心 c 的学习速率。**他们对我们的模型至关重要。因此，我们进行了两个实验来研究这两个参数的敏感性。 在第一个实验中，我们固定 α 为0.5，λ 从0.到0.1 以同学习不同的模型。这些模型在LFW数据集上的验证精度如图5所示。非常清楚的是,**仅仅使用将softmax损失(在本例中λ= 0)不是一个好的选择**，从而导致较差的验证的性能。**正确选择 λ 的值可以提高性深度学习到的特征的验证性能**。我们还观察到我们的模型在大的 λ 范围内验证性能很大程度上保持着稳定性。在第二个实验中,我们解决λ= 0.003,不同α从0.01到1学习不同的模型。这些模型在LFW上的验证精度如图5所示。同样,我们的模型的验证性能很大程度上保持着稳定的α大范围。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 6][] **图5所示。在LFW数据集上人脸验证的精度,通过与不同的λ并固定α = 0.5模型(a)和不同α并固定λ= 0.003模型(b)。** ## 4.3 在LFW和YTF数据集上的实验 ## 在这一部分，在无约束环境下，我们评估了单一模型在两个著名的人脸识别基准，LFW和YTF数据集上的性能。它们是图像和视频中人脸识别的优秀基准。图6给出了一些例子。我们的模型是针对0.7M的外部数据进行训练，没有人与LFW和YTF重叠。在本节中,我们给模型C固定λ为0.003和α为0.5。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 7][] **图6所示。在LFW和YTF数据集中的一些人脸图像和视频。绿色框架中的人脸图像对是正对(同一个人)，而红色框架中的是负对。每个图像中的白色边框表示要测试的人脸。** LFW数据集包含13233张来自5749个不同身份的网络收集图像，在姿态、表情和光照方面有很大的变化。遵循不受限制的标准协议，使用外部数据\[14\]标记。我们对6000对人脸进行测试，实验结果如表2所示。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 8][] 表2。不同方法在LFW和YTF数据集上的验证性能 从表2的结果中，我们得到了以下观察结果。首先，模型C(共同监督center损失和softmax损失)以明显的优势打败了基线(模型A，只有softmax损失监督)，性能改善从YTF LFW(97.37%和91.1%)到YTF LFW(99.28%和94.9%)。这说明，联**合监督可以显著提高深度学习特征的识别力，证明了中心损失的有效性。**其次，与模型B(softmax损失和contrastive损失相结合进行监督)相比，模型C的性能更好(99.10% vs . 99.28%， 93.8% vs . 94.9%)。这说明**在设计的神经网络中，center loss比contrastive loss 更有优势。**最后，与这两个数据库上的最新结果相比，模型C的结果(更少的训练数据和更简单的网络架构)始终是基于这两个数据库的顶级方法集，优于表2中的大多数现有结果。这说明了所提出的CNNs的优点。 ## 4.4 MegaFace Challenger数据集上的实验 ## MegaFace数据集最近作为测试基准发布。这是一个非常具有挑战性的数据集，旨在评估人脸识别算法在数百万干扰因素(不在测试集中的人)范围内的性能。MegaFace数据集包括gallery集和probe集。图片集由来自690k个不同个体的100多万张照片组成，是来自雅虎Flickr photos\[35\]的子集。在这个挑战中使用的探测集是两个现有的数据库：Facescrub\[24\]和FGNet\[1\]。Facescrub数据集是公开可用的数据集，包含530个独特个体的100 K张照片(55742张男性图像和52076张女性图像)。每个identity有足够的样本可以减少可能的偏差。FGNet数据集是一个人脸年龄数据集，包含82个identities的1002张图像。每个identities在不同年龄(从0岁到69岁)都有多个人脸图像。 在两种协议(大的或小的训练集)下有几个测试场景(识别、验证和姿态不变性)。训练集小于0.5M图像和20k的受试者定义为 small。按照小训练集协议，我们将训练图像的尺寸减小到0.49M，但保持identities数不变(即17189名受试者)。将与Facescrub数据集重叠的图像丢弃。为了公平比较，我们还在不同监督信号下的小训练集上训练了三种CNN模型。得到的模型分别称为模型A-、模型B-和模型C-。遵循4.3节中同样的设置，在模型C- 中 λ为0.003，α为0.5。我们使用提供的代码\[23\]进行实验，它只在三个gallery中(Set 1)的一个上测试我们的算法。 **人脸鉴定（Identification）。人脸鉴定的目的是将给定的probe图像与gallery中同一个人的图像进行匹配。**在这个任务中，我们需要**计算每个给定的探测人脸图像与图库之间的相似性**，gallery中至少包含一个与探测人脸相同的图像。此外，gallery中包含了不同规模的干扰物，从10到100万不等，这使得测试的难度越来越大。更多细节可以在\[23\]中找到。在人脸识别实验中，我们使用累积匹配特征曲线(CMC)来表示结果。它揭示了一个正确的gallery图像排名在top-k的概率。结果如图8所示。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 9][] **图8所示。不同方法的CMC曲线(在小训练集协议下)(a)1M 和(b) 10k个干扰选项。其他方法的结果由MegaFace团队提供。** **人脸验证。**对于人脸验证，算法应该确定给定的一对图像是否是同一个人。在probe和gallery数据集之间产生了40亿个negative pair。计算真接受率(TAR)和假接受率(FAR)，绘制不同方法的受试工作特性(ROC)曲线，如图9所示。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 10][] **图9所示。不同方法的ROC曲线(在小训练集协议下)，(a) 1M和(b) 10k 个干扰物。其他方法的结果由MegaFace团队提供。** 我们将我们的方法与许多现有的方法进行比较，包括(i) LBP\[2\]和JointBayes \[5\]， (ii)我们的baseline深度模型(模型A-和模型B-)，以及(iii)其他组提交的深度模型。从图8和图9可以看出，手工特征和浅层模型性能较差。随着干扰物数量的增加，它们的准确度急剧下降。此外，基于深度学习的方法比传统的方法表现得更好。然而，性能仍然有很大的改进空间。最后，**在softmax loss和center loss的联合监督下，model C-取得了最好的结果，**不仅以明显的优势超过model A-和model B-，而且显著优于其他已发表的方法。 为了满足实际需求，人脸识别模型需要在对抗数百万干扰物时达到高性能。在这种情况下，只有具有至少1M干扰物的Rank-1识别率和较低的假接受率(如10 - 6)的验证率才是非常有意义的\[23\]。我们在表3和表4中报告了不同方法的实验结果。 **表3。在100万干扰物的超大空间上，不同方法的识别率。** ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 11][] **表4。MegaFace 具有1M个干扰物在 10e-6FAR出不同方法的验证TAR** ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 12][] 从这些结果中，我们得到了以下观察结果。首先，不足为奇的是，模型C-在人脸识别和验证任务上始终优于模型A-和模型B-，这证实了设计的损失函数的优势。其次，在小训练集评价协议下，模型C-在人脸识别和验证任务上都取得了最好的效果，人脸识别和验证任务分别以5.97%和10.15%的优势排在第二位。此外，值得注意的是，model C-甚至超过了一些使用大型训练集训练的模型(例如，Beijing Facecall Co.)。最后，谷歌和NTechLAB的模型在大型训练集协议下性能最好。注意，他们的私有训练集(谷歌为500米，NTechLAB为18米)比我们的私有训练集(0.49米)大得多。 [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70]: /images/20211126/9f911dcda7194342ae4269eda52ec3b0.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 1]: /images/20211126/e27b4eb8f4044c7487cba0af0708419e.png [20190723163819221.png]: /images/20211126/c78a45efa7884923a9c2107616324164.png [20190723163917955.png]: https://img-blog.csdnimg.cn/20190723163917955.png [20190723163944949.png]: https://img-blog.csdnimg.cn/20190723163944949.png [20190723164036979.png]: https://img-blog.csdnimg.cn/20190723164036979.png [20190723164106699.png]: https://img-blog.csdnimg.cn/20190723164106699.png [20190723164125843.png]: /images/20211126/d2cf9e48c9574e88bd1fae5dce931e5d.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 2]: /images/20211126/73b6920be92a49a8b69187fb9eb0764f.png [20190723164539968.png]: /images/20211126/42d28d4b357c4967aa4fd188c28c4a0b.png [201907231646264.png]: https://img-blog.csdnimg.cn/201907231646264.png [20190723164651485.png]: https://img-blog.csdnimg.cn/20190723164651485.png [20190723164731266.png]: /images/20211126/02ff31e481df45cf8c55a288415eeb62.png [20190723165140126.png]: https://img-blog.csdnimg.cn/20190723165140126.png [20190723165151248.png]: https://img-blog.csdnimg.cn/20190723165151248.png [2019072316523017.png]: /images/20211126/56bc5104bb124906aeec89df1621c3f0.png [20190723165125711.png]: /images/20211126/48c596458a6b4e40ab02fa1dc1c4518d.png [20190723165409475.png]: /images/20211126/3453f9be531e4d85952cef67f2da7899.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 3]: /images/20211126/8023d23ea7d449a2bd2c2077ab99a1cf.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 4]: /images/20211126/745523878e2e412cbaeac94f071fa384.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 5]: /images/20211126/73e1f120a18e4cfa80c5dce7c71db0e1.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 6]: /images/20211126/4159bce7d42c44c18de6e6288905a05f.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 7]: /images/20211126/eff86ed8100e49e28af2aa6d7d9c24f6.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 8]: /images/20211126/d0801371dc164800a5c116b1e7e92fa3.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 9]: /images/20211126/91f9ef34643f47e2a8be882f957c064c.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 10]: /images/20211126/ead221b1f0fe455a8667002d97eb1204.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 11]: /images/20211126/9994d60974224577a620813faadaa4e0.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY3MTQyNQ_size_16_color_FFFFFF_t_70 12]: /images/20211126/ebffa421f37a401599bd9263864ed06a.png
还没有评论，来说两句吧...