机器学习HMM模型算法实例

ゞ浴缸里的玫瑰 2024-04-03 12:56 84阅读 0赞

#### 目录 ####

*  1 前向算法求HMM观测序列的概率
 *   *  1.1 流程梳理
     *  1.2 算法总结
     *  1.3 HMM前向算法求解实例
     *  1.4 用后向算法求HMM观测序列的概率
     *   *  1.4.1 流程梳理
         *  1.4.2 后向算法流程
     *  1.5 小结
 *  2 维特比算法解码隐藏状态序列
 *   *  2.1 HMM最可能隐藏状态序列求解概述
     *  2.2 维特比算法概述
     *  2.3 维特比算法流程总结
     *  2.4 HMM维特比算法求解实例
     *  2.5 小结
 *  3 鲍姆-韦尔奇算法简介
 *   *  3.1 鲍姆-韦尔奇算法简介
     *  3.2 鲍姆-韦尔奇算法原理
 *  4 HMM模型API介绍
 *   *  4.1 API的安装：
     *  4.2 hmmlearn介绍
     *  4.3 MultinomialHMM实例

--------------------

## 1 前向算法求HMM观测序列的概率 ##

前向后向算法是前向算法和后向算法的统称，这两个算法都可以用来求HMM观测序列的概率。我们先来看看前向算法是如何求解这个问题的。

### 1.1 流程梳理 ###

前向算法本质上属于动态规划的算法，也就是我们要通过找到局部状态递推的公式，这样一步步的从子问题的最优解拓展到整个问题的最优解。

*  在前向算法中，通过定义“前向概率”来定义动态规划的这个局部状态。
 *  什么是前向概率呢, 其实定义很简单：\*\*定义时刻t时隐藏状态为qi, 观测状态的序列为![image-20200609233904245][]的概率为前向概率。\*\*记为：
    
     *  ![image-20191211105957494][]
 *  既然是动态规划，我们就要递推了，现在假设我们已经找到了在时刻t时各个隐藏状态的前向概率，现在我们需要递推出时刻t+1时各个隐藏状态的前向概率。
 *  我们可以基于时刻t时各个隐藏状态的前向概率，再乘以对应的状态转移概率，即![image-20200609234130735][]就是在时刻t观测到![image-20200609233928757][]，并且时刻t隐藏状态qj 时刻t+1隐藏状态qi的概率。
 *  如果将下面所有的线对应的概率求和，即![image-20191211110215169][]就是在时刻t观测到![image-20200609233904245][]，并且时刻t+1隐藏状态qi的概率。
 *  继续一步，由于观测状态ot+1只依赖于t+1时刻隐藏状态qi, 这样![image-20191211110423244][]就是在时刻t+1观测到![image-20200609235341597][]，并且时刻t+1隐藏状态的qi概率。
 *  而这个概率，恰恰就是时刻t+1对应的隐藏状态i的前向概率，这样我们得到了前向概率的递推关系式如下：

![image-20191211110550740][]

我们的动态规划从时刻1开始，到时刻T结束，由于αT(i)表示在时刻T观测序列为，![image-20200609233904245][]并且时刻T隐藏状态qi的概率，我们只要将所有隐藏状态对应的概率相加，即![image-20191211110741849][]就得到了在时刻T观测序列为![image-20200609233904245][]的概率。

### 1.2 算法总结 ###

*  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200609235438949][]
 *  输出：观测序列概率P(O|λ)
    
     *  1.  计算时刻1的各个隐藏状态前向概率：![image-20191211111014281][]
     *  1.  递推时刻2,3,… …T时刻的前向概率：![image-20191211111110223][]
     *  1.  计算最终结果：![image-20191211111203339][]

从递推公式可以看出，我们的算法时间复杂度是O(TN2)，比暴力解法的时间复杂度O(TNT)少了几个数量级。

### 1.3 HMM前向算法求解实例 ###

这里我们用前面盒子与球的例子来显示前向概率的计算。 我们的观察集合是:

![image-20191211111340320][]

我们的状态集合是：

![image-20191211111356587][]

而观察序列和状态序列的长度为3.

初始状态分布为：

![image-20191211111420238][]

状态转移概率分布矩阵为：

![image-20191211111441386][]

观测状态概率矩阵为：

![image-20191211111505163][]

球的颜色的观测序列:

![image-20191211111524899][]

--------------------

按照我们上一节的前向算法。首先计算时刻1三个状态的前向概率：

时刻1是红色球，

*  隐藏状态是盒子1的概率为：

![image-20191211111557445][]

*  隐藏状态是盒子2的概率为：

![image-20191211111615472][]

*  隐藏状态是盒子3的概率为：

![image-20191211111633922][]

--------------------

现在我们可以开始递推了，首先递推时刻2三个状态的前向概率：

时刻2是白色球，

*  隐藏状态是盒子1的概率为：

![image-20191211111657376][]

*  隐藏状态是盒子2的概率为：

![image-20191211111727858][]

*  隐藏状态是盒子3的概率为：

![image-20191211111748653][]

--------------------

继续递推，现在我们递推时刻3三个状态的前向概率：

时刻3是红色球，

*  隐藏状态是盒子1的概率为：

![image-20200207155502905][]

*  隐藏状态是盒子2的概率为：

![image-20200207155633244][]

*  隐藏状态是盒子3的概率为：

![image-20200207155724101][]

最终我们求出观测序列:O=红，白，红的概率为：

![image-20200207155805682][]

--------------------

### 1.4 用后向算法求HMM观测序列的概率 ###

#### 1.4.1 流程梳理 ####

熟悉了用前向算法求HMM观测序列的概率，现在我们再来看看怎么用后向算法求HMM观测序列的概率。

后向算法和前向算法非常类似，都是用的动态规划，唯一的区别是选择的局部状态不同，后向算法用的是“后向概率”。

#### 1.4.2 后向算法流程 ####

以下是后向算法的流程,注意下和前向算法的相同点和不同点：

*  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200609235438949][]
 *  输出：观测序列概率P(O|λ)
    
     *  初始化时刻T的各个隐藏状态后向概率：![image-20191211131712030][]
     *  递推时刻T−1,T−2,…1时刻的后向概率：![image-20191211131727431][]
     *  计算最终结果：![image-20191211131746630][]

此时我们的算法时间复杂度仍然是O(TN2)

--------------------

### 1.5 小结 ###

*  前向算法求HMM观测序列
    
     *  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200609235438949][]
     *  输出：观测序列概率P(O|λ)
        
         *  1.  计算时刻1的各个隐藏状态前向概率：![image-20191211111014281][image-20191211111014281 1]
         *  1.  递推时刻2,3,… …T时刻的前向概率：![image-20191211111110223][]
         *  1.  计算最终结果：![image-20191211111203339][]
 *  后向算法求HMM观测序列
    
     *  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200609235438949][]
     *  输出：观测序列概率P(O|λ)
        
         *  初始化时刻T的各个隐藏状态后向概率：![image-20191211131712030][]
         *  递推时刻T−1,T−2,…1时刻的后向概率：![image-20191211131727431][]
         *  计算最终结果：![image-20191211131746630][]

## 2 维特比算法解码隐藏状态序列 ##

### 2.1 HMM最可能隐藏状态序列求解概述 ###

在本篇我们会讨论维特比算法解码隐藏状态序列，**即给定模型和观测序列，求给定观测序列条件下，最可能出现的对应的隐藏状态序列。**

HMM模型的解码问题最常用的算法是维特比算法，当然也有其他的算法可以求解这个问题。

同时维特比算法是一个通用的求序列最短路径的动态规划算法，也可以用于很多其他问题。

HMM模型的解码问题即：

*  给定模型 λ=(A,B,Π) 和观测序列![image-20200610115015448][]，求给定观测序列O条件下，最可能出现的对应的状态序列![image-20200610115042336][],即![image-20200610115101679][]的最大化。

一个可能的近似解法是求出观测序列O在每个时刻t最可能的隐藏状态 ![image-20200610115123670][] 然后得到一个近似的隐藏状态序列![image-20200610115142260][]。要这样近似求解不难，利用前向后向算法评估观察序列概率的定义：

*  在给定模型λ和观测序列O时，在时刻t处于状态q
    
    i
    
    的概率是
    
    ，这个概率可以通过HMM的前向算法与后向算法计算。这样我们有：
    
     *  ![image-20191211151315040][]

近似算法很简单，但是却不能保证预测的状态序列整体是最可能的状态序列，因为预测的状态序列中某些相邻的隐藏状态可能存在转移概率为0的情况。

而**维特比算法可以将HMM的状态序列作为一个整体来考虑**，避免近似算法的问题，下面我们来看看维特比算法进行HMM解码的方法。

### 2.2 维特比算法概述 ###

维特比算法是一个通用的解码算法，是基于动态规划的求序列最短路径的方法。

既然是动态规划算法，那么就需要找到合适的局部状态，以及局部状态的递推公式。在HMM中，维特比算法定义了两个局部状态用于递推。

1.  第一个局部状态是**在时刻t隐藏状态为 i 所有可能的状态转移路径![image-20200610115417275][]中的概率最大值。**

*  记为![image-20200610115437471][]:

![image-20191211151501175][]

由![image-20200610115510169][]的定义可以得到![image-20200610115533001][] 的递推表达式：

![image-20191211151534411][]

1.  第二个局部状态由第一个局部状态递推得到。

*  我们定义在时刻t隐藏状态为i的所有单个状态转移路径![image-20200610115656979][]中概率最大的转移路径中第t-1个节点的隐藏状态为:![image-20200610115556667][]
 *  其递推表达式可以表示为：

![image-20191211153102474][]

有了这两个局部状态，我们就可以从时刻0一直递推到时刻T，然后利用![image-20200610115611494][]记录的前一个最可能的状态节点回溯，直到找到最优的隐藏状态序列。

### 2.3 维特比算法流程总结 ###

现在我们来总结下维特比算法的流程：

*  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200610115739520][]
 *  输出：最有可能的隐藏状态序列![image-20200610115759219][]

流程如下：

*  1）初始化局部状态：

![image-20191211153308449][]

*  1.  进行动态规划递推时刻 t=2,3,…T 时刻的局部状态：

![image-20191211153349430][]

*  1.  计算时刻T最大的![image-20200610115901486][],即为最可能隐藏状态序列出现的概率。计算时刻T最大的 ![image-20200610115925436][],即为时刻T最可能的隐藏状态。

![image-20191211153412145][]

*  1.  利用局部状态![image-20200610115945012][]开始回溯。对于 t=T-1,T-2,…,1

![image-20191211153607900][]

最终得到最有可能的隐藏状态序列: ![image-20200610120053531][]

### 2.4 HMM维特比算法求解实例 ###

下面我们仍然用盒子与球的例子来看看HMM维特比算法求解。 我们的观察集合是:

![image-20191211153746752][]

我们的状态集合是：

![image-20191211153802703][]

而观察序列和状态序列的长度为3.

初始状态分布为：

![image-20191211153823665][]

状态转移概率分布矩阵为：

![image-20191211153840457][]

观测状态概率矩阵为：

![image-20191211153917435][]

球的颜色的观测序列:

![image-20191211153935679][]

按照我们前面的维特比算法，首先需要得到三个隐藏状态在时刻1时对应的各自两个局部状态，此时观测状态为1：

![image-20191211154001419][]

现在开始递推三个隐藏状态在时刻2时对应的各自两个局部状态，此时观测状态为2：

*  \\delta\_2(1) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_1(j)a\_\{j1\}\]b\_1(o\_2) = \\max\_\{1\\leq j \\leq 3\}\[0.1 \\times 0.5, 0.16 \\times 0.3, 0.28\\times 0.2\] \\times 0.5 = 0.028*δ*2(1)=max1≤*j*≤3\[*δ*1(*j*)*a\*\*j*1\]*b*1(*o*2)=max1≤*j*≤3\[0.1×0.5,0.16×0.3,0.28×0.2\]×0.5=0.028
    
     *  \\Psi\_2(1)=3Ψ2(1)=3
 *  \\delta\_2(2) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_1(j)a\_\{j2\}\]b\_2(o\_2) = \\max\_\{1\\leq j \\leq 3\}\[0.1 \\times 0.2, 0.16 \\times 0.5, 0.28\\times 0.3\] \\times 0.6 = 0.0504*δ*2(2)=max1≤*j*≤3\[*δ*1(*j*)*a\*\*j*2\]*b*2(*o*2)=max1≤*j*≤3\[0.1×0.2,0.16×0.5,0.28×0.3\]×0.6=0.0504
    
     *  \\Psi\_2(2)=3Ψ2(2)=3
 *  \\delta\_2(3) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_1(j)a\_\{j3\}\]b\_3(o\_2) = \\max\_\{1\\leq j \\leq 3\}\[0.1 \\times 0.3, 0.16 \\times 0.2, 0.28\\times 0.5\] \\times 0.3 = 0.042*δ*2(3)=max1≤*j*≤3\[*δ*1(*j*)*a\*\*j*3\]*b*3(*o*2)=max1≤*j*≤3\[0.1×0.3,0.16×0.2,0.28×0.5\]×0.3=0.042
    
     *  \\Psi\_2(3)=3Ψ2(3)=3

继续递推三个隐藏状态在时刻3时对应的各自两个局部状态，此时观测状态为1：

*  \\delta\_3(1) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_2(j)a\_\{j1\}\]b\_1(o\_3) = \\max\_\{1\\leq j \\leq 3\}\[0.028 \\times 0.5, 0.0504 \\times 0.3, 0.042\\times 0.2\] \\times 0.5 = 0.00756*δ*3(1)=max1≤*j*≤3\[*δ*2(*j*)*a\*\*j*1\]*b*1(*o*3)=max1≤*j*≤3\[0.028×0.5,0.0504×0.3,0.042×0.2\]×0.5=0.00756
    
     *  \\Psi\_3(1)=2Ψ3(1)=2
 *  \\delta\_3(2) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_2(j)a\_\{j2\}\]b\_2(o\_3) = \\max\_\{1\\leq j \\leq 3\}\[0.028 \\times 0.2, 0.0504\\times 0.5, 0.042\\times 0.3\] \\times 0.4 = 0.01008*δ*3(2)=max1≤*j*≤3\[*δ*2(*j*)*a\*\*j*2\]*b*2(*o*3)=max1≤*j*≤3\[0.028×0.2,0.0504×0.5,0.042×0.3\]×0.4=0.01008
    
     *  \\Psi\_3(2)=2Ψ3(2)=2
 *  \\delta\_3(3) = \\max\_\{1\\leq j \\leq 3\}\[\\delta\_2(j)a\_\{j3\}\]b\_3(o\_3) = \\max\_\{1\\leq j \\leq 3\}\[0.028 \\times 0.3, 0.0504 \\times 0.2, 0.042\\times 0.5\] \\times 0.7 = 0.0147*δ*3(3)=max1≤*j*≤3\[*δ*2(*j*)*a\*\*j*3\]*b*3(*o*3)=max1≤*j*≤3\[0.028×0.3,0.0504×0.2,0.042×0.5\]×0.7=0.0147
    
     *  \\Psi\_3(3)=3Ψ3(3)=3

![image-20200610120825483][]

--------------------

### 2.5 小结 ###

*  维特比算法流程总结：
    
     *  输入：HMM模型 λ=(A,B,Π)，观测序列![image-20200610115739520][image-20200610115739520 1]
     *  输出：最有可能的隐藏状态序列![image-20200610115759219][image-20200610115759219 1]

流程如下：

*  1）初始化局部状态：

![image-20191211153308449][image-20191211153308449 1]

*  1.  进行动态规划递推时刻 t=2,3,…T 时刻的局部状态：

![image-20191211153349430][image-20191211153349430 1]

*  1.  计算时刻T最大的![image-20200610115901486][image-20200610115901486 1],即为最可能隐藏状态序列出现的概率。计算时刻T最大的 ![image-20200610115925436][image-20200610115925436 1],即为时刻T最可能的隐藏状态。

![image-20191211153412145][image-20191211153412145 1]

*  1.  利用局部状态![image-20200610115945012][image-20200610115945012 1]开始回溯。对于 t=T-1,T-2,…,1

![image-20191211153607900][image-20191211153607900 1]

最终得到最有可能的隐藏状态序列: ![image-20200610120053531][image-20200610120053531 1]

## 3 鲍姆-韦尔奇算法简介 ##

### 3.1 鲍姆-韦尔奇算法简介 ###

模型参数学习问题 —— **鲍姆-韦尔奇（Baum-Welch）算法**(状态未知) ，

*  即给定观测序列![image-20200609225512712][]，估计模型的λ=(A,B,Π)参数，使该模型下观测序列的条件概率最P(O|λ)大。
 *  它的解法最常用的是鲍姆-韦尔奇算法，其实就是基于EM算法的求解，只不过鲍姆-韦尔奇算法出现的时代，EM算法还没有被抽象出来，所以被叫为鲍姆-韦尔奇算法。

![image-20191209171743726][]

### 3.2 鲍姆-韦尔奇算法原理 ###

鲍姆-韦尔奇算法原理既然使用的就是EM算法的原理，

*  那么我们需要在E步求出联合分布P(O,I|λ)基于条件概率![image-20200609225645757][]的期望，其中![image-20200609225716280][]为当前的模型参数，
 *  然后在M步最大化这个期望，得到更新的模型参数λ。

接着不停的进行EM迭代，直到模型参数的值收敛为止。

--------------------

首先来看看E步，当前模型参数为![image-20200609225737462][], 联合分布P(O,I|λ)基于条件概率![image-20200609225645757][]的期望表达式为：

*  L(\\lambda, \\overline\{\\lambda\}) = \\sum\\limits\_\{I\}P(I|O,\\overline\{\\lambda\})logP(O,I|\\lambda)*L*(*λ*,*λ*)=*I*∑*P*(*I*∣*O*,*λ*)*l**o**g\*\*P*(*O*,*I*∣*λ*)

在M步，我们极大化上式，然后得到更新后的模型参数如下：

*  \\overline\{\\lambda\} = arg;\\max\_\{\\lambda\}\\sum\\limits\_\{I\}P(I|O,\\overline\{\\lambda\})logP(O,I|\\lambda)*λ*=*a**r**g*max*λ\*\*I*∑*P*(*I*∣*O*,*λ*)*l**o**g\*\*P*(*O*,*I*∣*λ*)

通过不断的E步和M步的迭代，直到![image-20200609225737462][]收敛。

## 4 HMM模型API介绍 ##

### 4.1 API的安装： ###

官网链接：https://hmmlearn.readthedocs.io/en/latest/

pip3 install hmmlearn

### 4.2 hmmlearn介绍 ###

hmmlearn实现了三种HMM模型类，按照观测状态是连续状态还是离散状态，可以分为两类。

GaussianHMM和GMMHMM是连续观测状态的HMM模型，而MultinomialHMM是离散观测状态的模型，也是我们在HMM原理系列篇里面使用的模型。

在这里主要介绍我们前面一直讲的关于离散状态的MultinomialHMM模型。

对于MultinomialHMM的模型，使用比较简单，里面有几个常用的参数：

*  "startprob\_"参数对应我们的隐藏状态初始分布Π,
 *  "transmat\_"对应我们的状态转移矩阵A,
 *  "emissionprob\_"对应我们的观测状态概率矩阵B。

### 4.3 MultinomialHMM实例 ###

下面我们用我们在前面讲的关于球的那个例子使用MultinomialHMM跑一遍。

import numpy as np
    from hmmlearn import hmm
    # 设定隐藏状态的集合
    states = ["box 1", "box 2", "box3"]
    n_states = len(states)
    
    # 设定观察状态的集合
    observations = ["red", "white"]
    n_observations = len(observations)
    
    # 设定初始状态分布
    start_probability = np.array([0.2, 0.4, 0.4])
    
    # 设定状态转移概率分布矩阵
    transition_probability = np.array([
      [0.5, 0.2, 0.3],
      [0.3, 0.5, 0.2],
      [0.2, 0.3, 0.5]
    ])
    
    # 设定观测状态概率矩阵
    emission_probability = np.array([
      [0.5, 0.5],
      [0.4, 0.6],
      [0.7, 0.3]
    ])
    # 设定模型参数
    model = hmm.MultinomialHMM(n_components=n_states)
    model.startprob_=start_probability  # 初始状态分布
    model.transmat_=transition_probability  # 状态转移概率分布矩阵
    model.emissionprob_=emission_probability  # 观测状态概率矩阵

现在我们来跑一跑HMM问题三维特比算法的解码过程，使用和之前一样的观测序列来解码，代码如下：

seen = np.array([[0,1,0]]).T  # 设定观测序列
    box = model.predict(seen)
    
    print("球的观测顺序为：\n", ", ".join(map(lambda x: observations[x], seen.flatten())))
    # 注意：需要使用flatten方法，把seen从二维变成一维
    print("最可能的隐藏状态序列为:\n"， ", ".join(map(lambda x: states[x], box)))

我们再来看看求HMM问题一的观测序列的概率的问题，代码如下：

print(model.score(seen))
    # 输出结果是：-2.03854530992

要注意的是score函数返回的是以自然对数为底的对数概率值，我们在HMM问题一中手动计算的结果是未取对数的原始概率是0.13022。对比一下：

import math
    
    math.exp(-2.038545309915233)
    # ln0.13022≈−2.0385
    # 输出结果是：0.13021800000000003

[image-20200609233904245]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a40a1c1adff04744892855e84a773499.jpeg
[image-20191211105957494]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c2a52112768046d89e99415adc07a74c.jpeg
[image-20200609234130735]: https://img-blog.csdnimg.cn/img_convert/69ebe1cb27352457cc457dab9105de50.jpeg
[image-20200609233928757]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d2bc9860e8ac4fbea60048bc3efaf7f9.jpeg
[image-20191211110215169]: https://img-blog.csdnimg.cn/img_convert/59de4bea1ed8dbafc59f727be9fb128e.jpeg
[image-20191211110423244]: https://img-blog.csdnimg.cn/img_convert/3419fa947e9d3fb5dcaf5ed0a1b13514.jpeg
[image-20200609235341597]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/101d11a531f745e689f2009b1e6645ef.jpeg
[image-20191211110550740]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bdd62c1f9419414697eb305eae7e25a8.jpeg
[image-20191211110741849]: https://img-blog.csdnimg.cn/img_convert/0ebc44684ec9c25ec22ff7423bcda27d.jpeg
[image-20200609235438949]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/67529cb8543649ff8e34f04a070a6ff4.jpeg
[image-20191211111014281]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9b9f0dc990eb4af598f13cccfccdef15.jpeg
[image-20191211111110223]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a90b171178794879ac77a93dce2bb9af.jpeg
[image-20191211111203339]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/578188d2eded4c60a8e20a52bb39c4bf.jpeg
[image-20191211111340320]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8eda8679c8b64749a9a20d7f204d1e3a.jpeg
[image-20191211111356587]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/040e99b6ce1d4f2bae6b7779d90fca42.jpeg
[image-20191211111420238]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e99446f84ece41b58ba68fec865c735c.jpeg
[image-20191211111441386]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dd1dd579706242bba589c574bea55803.jpeg
[image-20191211111505163]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b0e0488bd12f4bea83d71a4b70f23d10.jpeg
[image-20191211111524899]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/86f9b91fc5c34d149be191c40a88fbfd.jpeg
[image-20191211111557445]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cb3473b80a50432889819231545d1633.jpeg
[image-20191211111615472]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d219e16d98654eaba3980878694d6120.jpeg
[image-20191211111633922]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/85590d62fba24fcd91cc4405a3ce88af.jpeg
[image-20191211111657376]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/05a36f1a753f474d83036639ae4c15ba.jpeg
[image-20191211111727858]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1015ab2ea9c54f4ba514f4d1459ccff3.jpeg
[image-20191211111748653]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/97227715b539474aa0b52817b92e0d91.jpeg
[image-20200207155502905]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8a7078abb05c41cbbd0b954589affcc5.jpeg
[image-20200207155633244]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4c05a21a5f124489b28ba2c4c46c586d.jpeg
[image-20200207155724101]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3c10175c13544cecb4dacbb78e7c0286.jpeg
[image-20200207155805682]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8cac5074c8e74c2db951469c143ea27b.jpeg
[image-20191211131712030]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e9aa94ec7ba347ae80593f6acd7ba53e.jpeg
[image-20191211131727431]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/103f1ddd9b11414a92ab13e5bb2c6e3a.jpeg
[image-20191211131746630]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f1016a6418e445788ce2898c1ff10b62.jpeg
[image-20191211111014281 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d40c01bb7cc24ecda6fcb3ad9276dd1f.jpeg
[image-20200610115015448]: https://img-blog.csdnimg.cn/img_convert/f44d62b64275f6a60c3b1d5473e2fac1.jpeg
[image-20200610115042336]: https://img-blog.csdnimg.cn/img_convert/d548e1836b64ba35c906921c8a11bad0.jpeg
[image-20200610115101679]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/88e2042cfe9942f0878d4c4b7c39b701.jpeg
[image-20200610115123670]: https://img-blog.csdnimg.cn/img_convert/90beabb1fabd7fb958d0735432dbc4cf.jpeg
[image-20200610115142260]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/39805547952e408cb693f4857c52d147.jpeg
[image-20191211151315040]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6e3a37b6d4fa4596813db2defbf66dbf.jpeg
[image-20200610115417275]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/94f9ce7bbf104136b5e3356e1f368679.jpeg
[image-20200610115437471]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3a8d2fe758994cc2983ea400a5b54170.jpeg
[image-20191211151501175]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/fa57831c28344f60934ac30a89472433.jpeg
[image-20200610115510169]: https://img-blog.csdnimg.cn/img_convert/20594ffd96f61f2a2cbe032d25712340.jpeg
[image-20200610115533001]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1725d0998420471fb834c200ceb6a0f7.jpeg
[image-20191211151534411]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/780355a72dfa4004ac6d8cd6040b9fb2.jpeg
[image-20200610115656979]: https://img-blog.csdnimg.cn/img_convert/0195f761ba5a7c7b303b67fddfd34b6a.jpeg
[image-20200610115556667]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/551be8b168e04c25be442b63d0952200.jpeg
[image-20191211153102474]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b39ce8d398b54f0db0c7e6e5325f4166.jpeg
[image-20200610115611494]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7694ab26e84a4763849494b93f932a0c.jpeg
[image-20200610115739520]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/02668ff57fcf4a5498b6267c80592043.jpeg
[image-20200610115759219]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8369e30ab2a246f78a56f2b80f72fb13.jpeg
[image-20191211153308449]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3e3eec0b0f9940ac8f80708fc5eff18f.jpeg
[image-20191211153349430]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/500160d1b352477f9a83d24cc2ba8f29.jpeg
[image-20200610115901486]: https://img-blog.csdnimg.cn/img_convert/480a593985acca14ad1abef2490d46a9.jpeg
[image-20200610115925436]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8b56b8711d6943298df0f587de958006.jpeg
[image-20191211153412145]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0fdde914ecb8489798beeafd604bf7fc.jpeg
[image-20200610115945012]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/75c2f19eb03b4c3e825ce0e3cb7fb59a.jpeg
[image-20191211153607900]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6ea90f657e17441f98c39f52ab7f286e.jpeg
[image-20200610120053531]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/abbe6caed70c438f95e09bba03946ff0.jpeg
[image-20191211153746752]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/311ec37576974c15ae39eeaa9b0f41bf.jpeg
[image-20191211153802703]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/aeb5e1f3dc594d86b22c916483947a9d.jpeg
[image-20191211153823665]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6aad374403824eacb62eddd0c8e4abde.jpeg
[image-20191211153840457]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/13d4dddd3cd0425d91e50c55380bb39e.jpeg
[image-20191211153917435]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c7f7ecad97dc468b9af3076e12d8a891.jpeg
[image-20191211153935679]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/95741a7e42df461cbb76a3e825154d9f.jpeg
[image-20191211154001419]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/96257d6503df42e5a34bfcc823bcd0b5.jpeg
[image-20200610120825483]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0e1c45dbf1904b05a306034fee0f1647.jpeg
[image-20200610115739520 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7f3b8ee15e954fbdbcdd3e92e7ce239f.jpeg
[image-20200610115759219 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0e6c05cda698419ea79448d7aa23ff62.jpeg
[image-20191211153308449 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d1f277def15c476e9537340d51d88df1.jpg
[image-20191211153349430 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1c848f0d10bc4a229aca5fb868ed2f4a.jpg
[image-20200610115901486 1]: https://tva1.sinaimg.cn/large/007S8ZIlly1gfn24eyk3nj302e01amwy.jpg
[image-20200610115925436 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9429a672198042128ebc23b06bd4b776.jpg
[image-20191211153412145 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/10d827c714c345c7b515471f2718cfc4.jpg
[image-20200610115945012 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4038e25a62284b41b036411ec3584217.jpg
[image-20191211153607900 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9279430cd43a4118b2b52c4b19eab8a8.jpg
[image-20200610120053531 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f9393b9e08bc4a20b13ebb8251f34c72.jpg
[image-20200609225512712]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/344e436d24094eeb8b383f8a5c3fa55f.jpeg
[image-20191209171743726]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e7c1639d4efa42ed984336799debf27a.jpeg
[image-20200609225645757]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e784b4ad28784258a78551cf1fd08f12.jpeg
[image-20200609225716280]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1a716c40e6ec461795f0fda678c623ac.jpeg
[image-20200609225737462]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6fdd6263356744d0868f9580032328ed.jpeg