Diffusion 扩散模型DDPM【俺的学习笔记】

╰+哭是因爲堅強的太久メ 2024-03-23 22:12 24阅读 0赞

### 整体概述 ###

首先简单地概括一下扩散模型的思路。

**正向过程**

正向过程是一个逐步加噪声的过程，直到完全变成噪声。

![017b62e4121a4d3b85b9ac5915867509.png][]

**逆向过程**

逆向过程是利用模型预测噪声并逐步去噪的过程，直到噪声生成为图片。

逆向过程可以理解为上图反过来。

以上就是整体概述，下面看细节，设计许多数学推理。

**浅显理解**

对于训练模型来讲：正向过程看作生成gt的过程，逆向看作训练过程。最原始的扩散模型整个过程看作一种自监督的方法。

### 正向过程 ###

![adba7daa583e4d2a8ddf6fcd9e54ab19.png][]

其中：

*  ![x\_t][x_t]就代表了第t步的加噪版本的图像
 *  ![x\_\{t-1\}][x_t-1]同理
 *  ![\\alpha\_t][alpha_t]是通过![1-\\beta][1-_beta]计算出来的，也就是说它随时间步逐渐减小，所以时间步越靠后，包含原图信息越少（故扩散，类比溶质扩散）
 *  z是一个噪声，服从正态分布N(0,1)

在前向传播的过程中，我们需要记录每一步的噪声，这样如果一步一步计算，再存储会耗时，全部存起来也耗显存。好处是，噪声z都是正态分布的，我们可以合并，由此我们可以得出![x\_0][x_0]到![x\_t][x_t]的公式，推导如下：

tip：将上边公式中的x\_\{t-1\}替换为第t-2步，指导第0步。

![x\_t = \\sqrt \{\\alpha\_t\} x\_\{t-1\} + \\sqrt\{1-\\alpha\_t\}z\_t \\\\ = \\sqrt \{\\alpha\_t\} (\\sqrt \{\\alpha\_\{t-1\}\} x\_\{t-2\} + \\sqrt\{1-\\alpha\_\{t-1\}\}z\_\{t-1\}) + \\sqrt\{1-\\alpha\_t\}z\_t \\\\ = \\sqrt \{\\alpha\_t\} \\sqrt \{\\alpha\_\{t-1\}\} x\_\{t-2\} + \\sqrt \{\\alpha\_t\} \\sqrt\{1-\\alpha\_\{t-1\}\}z\_\{t-1\} +\\sqrt\{1-\\alpha\_t\}z\_t \\\\][x_t _ _sqrt _alpha_t_ x_t-1_ _ _sqrt_1-_alpha_t_z_t _ _ _sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt_1-_alpha_t-1_z_t-1_ _ _sqrt_1-_alpha_t_z_t _ _ _sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t]

【暂停】推导在这个位置我们暂停一下，上面的推到结果一共三项，第二项和第三项是两个相加的正态分布。

> 补充知识：正态分布+正态分布还是正态分布，计算其方差和均值就好了
> 
> 如果两个相互独立的正态分布X~N(u1,m)，Y~N(u2，n)，那么Z=X±Y仍然服从正太分布，Z~N(u1±u2，m+n)。

那么了解这个，我们就可以把第二项和第三项的正态度分布写出来：

第二项：![N(0,\\alpha\_t (1-\\alpha\_\{t-1\}))][N_0_alpha_t _1-_alpha_t-1]  
第三项：![N(0,(1-\\alpha\_t)][N_0_1-_alpha_t]  
那么这两项相加得到新的正态分布：![N(0,\\alpha\_t (1-\\alpha\_\{t-1\}) + (1-\\alpha\_t)) = N(0,1-a\_ta\_\{t-1\})][N_0_alpha_t _1-_alpha_t-1_ _ _1-_alpha_t_ _ N_0_1-a_ta_t-1]  
于是：![\\sqrt \{\\alpha\_t\} \\sqrt\{1-\\alpha\_\{t-1\}\}z\_\{t-1\} +\\sqrt\{1-\\alpha\_t\}z\_t = \\sqrt\{1-a\_ta\_\{t-1\}\}z][sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t _ _sqrt_1-a_ta_t-1_z]  
z 是正态分布 ![N(0,1)][N_0_1]

【继续】继续推上面的式子，再进一步把x\_\{t-2\}拆开，一直拆到x\_0

![= \\sqrt \{\\alpha\_t\} \\sqrt \{\\alpha\_\{t-1\}\} x\_\{t-2\} + \\sqrt \{\\alpha\_t\} \\sqrt\{1-\\alpha\_\{t-1\}\}z\_\{t-1\} +\\sqrt\{1-\\alpha\_t\}z\_t \\\\ =\\sqrt \{\\alpha\_t\\alpha\_\{t-1\}\} x\_\{t-2\} + \\sqrt\{1-a\_ta\_\{t-1\}\}z\\\\ =\\sqrt \{\\alpha\_t\\alpha\_\{t-1\}\}(\\sqrt \{\\alpha\_\{t-2\}\} x\_\{t-3\} + \\sqrt\{1-\\alpha\_\{t-2\}\}z\_\{t-2\}) + \\sqrt\{1-a\_ta\_\{t-1\}\}z\\\\ =............\\\\ =\\sqrt \{\\alpha\_t\\alpha\_\{t-1\}\\cdots\\alpha\_\{0\}\}x\_0 + \\sqrt \{1 - \\alpha\_t\\alpha\_\{t-1\}\\cdots\\alpha\_\{0\}\}z\\\\][_sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t _ _sqrt _alpha_t_alpha_t-1_ x_t-2_ _ _sqrt_1-a_ta_t-1_z_ _sqrt _alpha_t_alpha_t-1_sqrt _alpha_t-2_ x_t-3_ _ _sqrt_1-_alpha_t-2_z_t-2_ _ _sqrt_1-a_ta_t-1_z_ _............_ _sqrt _alpha_t_alpha_t-1_cdots_alpha_0_x_0 _ _sqrt _1 - _alpha_t_alpha_t-1_cdots_alpha_0_z]

![=\\sqrt \{\\hat\{\\alpha\_t\}\}x\_0 + \\sqrt \{1 - \\hat\{\\alpha\_t\}\}z\\\\][sqrt _hat_alpha_t_x_0 _ _sqrt _1 - _hat_alpha_t_z]

我们把![\\alpha\_t\\alpha\_\{t-1\}\\cdots\\alpha\_\{0\}][alpha_t_alpha_t-1_cdots_alpha_0]记作![\\hat\{\\alpha\_t\}][hat_alpha_t]

于是我们得到了x\_t到x\_0的计算公式。

### 反向过程 ###

反向过程故名思义，我们需要从x\_t一步步推导到x\_0，我们先构建x\_\{t-1\}和x \_\{t\}。

![x\_t = \\sqrt \{\\alpha\_t\} x\_\{t-1\} + \\sqrt\{1-\\alpha\_t\}z\_t\\\\][x_t _ _sqrt _alpha_t_ x_t-1_ _ _sqrt_1-_alpha_t_z_t]

把上面公式反过来：

![x\_\{t-1\} = \\frac\{1\}\{\\sqrt \{\\alpha\_t\}\}x\_t-\\frac\{\\sqrt\{1-\\alpha\_t\}z\_t\}\{\\sqrt \{\\alpha\_t\}\}\\\\ =\\frac\{1\}\{\\sqrt \{\\alpha\_t\}\}x\_t-\\frac\{\\beta\_t\}\{\\sqrt \{\\alpha\_t(1-\\alpha\_t)\}\}z\_t][x_t-1_ _ _frac_1_sqrt _alpha_t_x_t-_frac_sqrt_1-_alpha_t_z_t_sqrt _alpha_t_ _frac_1_sqrt _alpha_t_x_t-_frac_beta_t_sqrt _alpha_t_1-_alpha_t_z_t]

我们可以依靠这个来将x\_t反推x\_\{t-1\}，但是可以看到这里有个问题，其他的变量均为已知，唯一不知道的是z\_t。

那么模型就来了，我们利用模型来拟合预测这个z\_t。

最终使用的模型是Unet，因为噪声是正态分布的图片大小的噪声，所以可以使用unet。

![15d2cc429e3445e9a816d068369bc83e.png][]

loss函数使用一个mse损失，我们在训练的每一步都通过x\_0直接计算x\_t，这个过程我们可以直接保存z作为gtoundtruth，然后我们预测z\_t，与z作损失。

![Loss = ||z-z\_t||^2][Loss _ _z-z_t_2]

目的就是为了限制预测的噪声更接近前向过程中加的噪声。

最后，需要解释一下我们输入模型里面什么，将模型表示为m，事实上：

![m(x\_t,t) = z\_t][m_x_t_t_ _ z_t]

t代表了当前是哪一个时间步。

在训练完以后，我们就可以通过一个随机的高斯分布，生成一个从未见过的图像了。

### 关于原文 ###

原文使用概率论来解释推导过程，通过贝叶斯公式来推到逆向过程。

【未完待续】

### 代码解析 ###

【未完待续】

[017b62e4121a4d3b85b9ac5915867509.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8d08c052666049b7b495ef807edf1773.png
[adba7daa583e4d2a8ddf6fcd9e54ab19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/ae28b51f2b7843bbb67c7d4e8337185d.png
[x_t]: https://latex.csdn.net/eq?x_t
[x_t-1]: https://latex.csdn.net/eq?x_%7Bt-1%7D
[alpha_t]: https://latex.csdn.net/eq?%5Calpha_t
[1-_beta]: https://latex.csdn.net/eq?1-%5Cbeta
[x_0]: https://latex.csdn.net/eq?x_0
[x_t _ _sqrt _alpha_t_ x_t-1_ _ _sqrt_1-_alpha_t_z_t _ _ _sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt_1-_alpha_t-1_z_t-1_ _ _sqrt_1-_alpha_t_z_t _ _ _sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t]: https://latex.csdn.net/eq?x_t%20%3D%20%5Csqrt%20%7B%5Calpha_t%7D%20x_%7Bt-1%7D%20&plus;%20%5Csqrt%7B1-%5Calpha_t%7Dz_t%20%5C%5C%20%3D%20%5Csqrt%20%7B%5Calpha_t%7D%20%28%5Csqrt%20%7B%5Calpha_%7Bt-1%7D%7D%20x_%7Bt-2%7D%20&plus;%20%5Csqrt%7B1-%5Calpha_%7Bt-1%7D%7Dz_%7Bt-1%7D%29%20&plus;%20%5Csqrt%7B1-%5Calpha_t%7Dz_t%20%5C%5C%20%3D%20%5Csqrt%20%7B%5Calpha_t%7D%20%5Csqrt%20%7B%5Calpha_%7Bt-1%7D%7D%20x_%7Bt-2%7D%20&plus;%20%5Csqrt%20%7B%5Calpha_t%7D%20%5Csqrt%7B1-%5Calpha_%7Bt-1%7D%7Dz_%7Bt-1%7D%20&plus;%5Csqrt%7B1-%5Calpha_t%7Dz_t%20%5C%5C
[N_0_alpha_t _1-_alpha_t-1]: https://latex.csdn.net/eq?N%280%2C%5Calpha_t%20%281-%5Calpha_%7Bt-1%7D%29%29
[N_0_1-_alpha_t]: https://latex.csdn.net/eq?N%280%2C%281-%5Calpha_t%29
[N_0_alpha_t _1-_alpha_t-1_ _ _1-_alpha_t_ _ N_0_1-a_ta_t-1]: https://latex.csdn.net/eq?N%280%2C%5Calpha_t%20%281-%5Calpha_%7Bt-1%7D%29%20&plus;%20%281-%5Calpha_t%29%29%20%3D%20N%280%2C1-a_ta_%7Bt-1%7D%29
[sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t _ _sqrt_1-a_ta_t-1_z]: https://latex.csdn.net/eq?%5Csqrt%20%7B%5Calpha_t%7D%20%5Csqrt%7B1-%5Calpha_%7Bt-1%7D%7Dz_%7Bt-1%7D%20&plus;%5Csqrt%7B1-%5Calpha_t%7Dz_t%20%3D%20%5Csqrt%7B1-a_ta_%7Bt-1%7D%7Dz
[N_0_1]: https://latex.csdn.net/eq?N%280%2C1%29
[_sqrt _alpha_t_ _sqrt _alpha_t-1_ x_t-2_ _ _sqrt _alpha_t_ _sqrt_1-_alpha_t-1_z_t-1_ _sqrt_1-_alpha_t_z_t _ _sqrt _alpha_t_alpha_t-1_ x_t-2_ _ _sqrt_1-a_ta_t-1_z_ _sqrt _alpha_t_alpha_t-1_sqrt _alpha_t-2_ x_t-3_ _ _sqrt_1-_alpha_t-2_z_t-2_ _ _sqrt_1-a_ta_t-1_z_ _............_ _sqrt _alpha_t_alpha_t-1_cdots_alpha_0_x_0 _ _sqrt _1 - _alpha_t_alpha_t-1_cdots_alpha_0_z]: https://latex.csdn.net/eq?%3D%20%5Csqrt%20%7B%5Calpha_t%7D%20%5Csqrt%20%7B%5Calpha_%7Bt-1%7D%7D%20x_%7Bt-2%7D%20&plus;%20%5Csqrt%20%7B%5Calpha_t%7D%20%5Csqrt%7B1-%5Calpha_%7Bt-1%7D%7Dz_%7Bt-1%7D%20&plus;%5Csqrt%7B1-%5Calpha_t%7Dz_t%20%5C%5C%20%3D%5Csqrt%20%7B%5Calpha_t%5Calpha_%7Bt-1%7D%7D%20x_%7Bt-2%7D%20&plus;%20%5Csqrt%7B1-a_ta_%7Bt-1%7D%7Dz%5C%5C%20%3D%5Csqrt%20%7B%5Calpha_t%5Calpha_%7Bt-1%7D%7D%28%5Csqrt%20%7B%5Calpha_%7Bt-2%7D%7D%20x_%7Bt-3%7D%20&plus;%20%5Csqrt%7B1-%5Calpha_%7Bt-2%7D%7Dz_%7Bt-2%7D%29%20&plus;%20%5Csqrt%7B1-a_ta_%7Bt-1%7D%7Dz%5C%5C%20%3D............%5C%5C%20%3D%5Csqrt%20%7B%5Calpha_t%5Calpha_%7Bt-1%7D%5Ccdots%5Calpha_%7B0%7D%7Dx_0%20&plus;%20%5Csqrt%20%7B1%20-%20%5Calpha_t%5Calpha_%7Bt-1%7D%5Ccdots%5Calpha_%7B0%7D%7Dz%5C%5C
[sqrt _hat_alpha_t_x_0 _ _sqrt _1 - _hat_alpha_t_z]: https://latex.csdn.net/eq?%3D%5Csqrt%20%7B%5Chat%7B%5Calpha_t%7D%7Dx_0%20&plus;%20%5Csqrt%20%7B1%20-%20%5Chat%7B%5Calpha_t%7D%7Dz%5C%5C
[alpha_t_alpha_t-1_cdots_alpha_0]: https://latex.csdn.net/eq?%5Calpha_t%5Calpha_%7Bt-1%7D%5Ccdots%5Calpha_%7B0%7D
[hat_alpha_t]: https://latex.csdn.net/eq?%5Chat%7B%5Calpha_t%7D
[x_t _ _sqrt _alpha_t_ x_t-1_ _ _sqrt_1-_alpha_t_z_t]: https://latex.csdn.net/eq?x_t%20%3D%20%5Csqrt%20%7B%5Calpha_t%7D%20x_%7Bt-1%7D%20&plus;%20%5Csqrt%7B1-%5Calpha_t%7Dz_t%5C%5C
[x_t-1_ _ _frac_1_sqrt _alpha_t_x_t-_frac_sqrt_1-_alpha_t_z_t_sqrt _alpha_t_ _frac_1_sqrt _alpha_t_x_t-_frac_beta_t_sqrt _alpha_t_1-_alpha_t_z_t]: https://latex.csdn.net/eq?x_%7Bt-1%7D%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%20%7B%5Calpha_t%7D%7Dx_t-%5Cfrac%7B%5Csqrt%7B1-%5Calpha_t%7Dz_t%7D%7B%5Csqrt%20%7B%5Calpha_t%7D%7D%5C%5C%20%3D%5Cfrac%7B1%7D%7B%5Csqrt%20%7B%5Calpha_t%7D%7Dx_t-%5Cfrac%7B%5Cbeta_t%7D%7B%5Csqrt%20%7B%5Calpha_t%281-%5Calpha_t%29%7D%7Dz_t
[15d2cc429e3445e9a816d068369bc83e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/48846e82063c4e7cb9dcab159f9c1145.png
[Loss _ _z-z_t_2]: https://latex.csdn.net/eq?Loss%20%3D%20%7C%7Cz-z_t%7C%7C%5E2
[m_x_t_t_ _ z_t]: https://latex.csdn.net/eq?m%28x_t%2Ct%29%20%3D%20z_t