python3深度学习受限玻尔兹曼机

刺骨的言语ヽ痛彻心扉 2022-04-25 06:30 289阅读 0赞

# 1.什么是受限玻尔兹曼机 #

> 玻尔兹曼机是一大类的神经网络模型，但是在**实际应用中使用最多的则是受限玻尔兹曼机（RBM）**。受限玻尔兹曼机（RBM）是一个随机神经网络（即当网络的神经元节点被激活时会有随机行为，随机取值）。它包含**一层可视层**和**一层隐藏层**。在**同一层的神经元之间是相互独立的**，而在不同的网络层之间的神经元是相互连接的（双向连接）。在网络进行训练以及使用时信息会在两个方向上流动，而且两个方向上的**权值是相同的**。但是**偏置值是不同的**（偏置值的个数是和神经元的个数相同的），受限玻尔兹曼机的结构如下：

![1335117-20180725104132887-2044793610.png][]

> 上图中：h层为隐藏层，![20190530084306629.png][]为隐藏层的值，v层为可见层，![2019053008440689.png][]为可见层的值。连接权重可以用矩阵W表示。和DNN（深度神经网络）的区别是，RBM不区分前向和反向，可见层(v)的状态可以作用于隐藏层(h)，而隐藏层(h)的状态也可以作用于可见层(v)。隐藏层的偏执项是向量b,而可见层的偏执项是向量a。**常用的RBM一般是二值的**，即不管是隐藏层还是可见层，它们的神经元的取值只为0或者1。RBM模型结构的结构：主要是权重矩阵W, 偏执项向量a和b，隐藏层神经元状态向量h和可见层神经元状态向量v（**向量均为列向量**）。

# 2.能量函数（激活函数）与概率分布 #

> RBM是基于基于能量的概率分布模型。分为两个部分：第一部分是能量函数，第二部分是基于能量函数的概率分布函数。对于给定的状态向量h和v，则**RBM当前的能量函数**可以表示为：
> 
> ![1335117-20180725102236111-1214164338.png][]
> 
>  其中a，b是偏执项系数，W是权重矩阵，h，v为可见层与隐藏层的状态向量。有了能量函数，**[v,h的联合概率分布][v_h]**为：
> 
> ![1335117-20180725102256785-1937949290.png][]
> 
>  其中Z是被称为**配分函数的归一化常数**（对于概率输出一般都要做归一化）：
> 
> ![1335117-20180725102320971-1745411646.png][]
> 
>  由于**配分函数Z难以处理**，所以必须使用最大似然梯度来近似。首先从联合分布中导出条件分布：
> 
> ![1335117-20180725102436057-261246452.png][]
> 
> 为了推导方便将无关值归于Z’中： 
> 
> ![1335117-20180725102504034-960164181.png][]
> 
>  可以容易的得到**在给定可视层v的基础上**，隐层第j个节点为1或者为0的概率为（**可见层的完全条件分布**）：
> 
> ![1335117-20180725102540663-444766632.png][]
> 
>  可以看到就是**相当于使用了sigmoid激活函数**，现在可以写出关于**隐藏层的完全条件分布**：
> 
> ![1335117-20180725102600706-2045269565.png][]
> 
> 有了激活函数，我们就可以从可见层和参数推导出隐藏层的神经元的取值概率了。对于0,1取值的情况，则大于0.5即取值为1，小于0.5取值为0。从隐藏层和参数推导出可见的神经元的取值方法也是一样的。

# 3.RBM损失函数 #

> RBM模型的关键就是求出我们模型中的参数W,a,b。首先我们得写出损失函数，RBM一般采用**对数损失函数**，即期望最小化下式（v为可见层状态向量,m为迭代训练的次数）：
> 
> ![1335117-20180725102744895-439635004.png][]
> 
> 后分别对w,a,b求偏导可得：
> 
> ![1335117-20180725105226805-1636935537.png][]
> 
> ![1335117-20180725105240199-1538084678.png][]
> 
> ![1335117-20180725105250759-1413065903.png][]
> 
> 虽然说梯度下降从理论上可以用来优化RBM模型，但实际中是很难求得P(v)的概率分布的（**P(v)表示可见层节点的联合概率**）。计算复杂度非常大，因此采用一些随机采样的方法来得到近似的解。看这三个梯度的第二项实际上都是求期望，而我们知道，样本的均值是随机变量期望的无偏估计。因此一般都是基于对比散度方法来求解。

# 4.对比散度算法 #

> CD算法大概思路是这样的，从样本集任意一个样本v0开始，经过k次Gibbs采样（实际中k=1往往就足够了），即每一步是：
> 
> ![1335117-20180725110538322-875892900.png][]
> 
>  
> 
> 得到样本vk，然后对应于上一篇三个单样本的梯度，用vk去近似：
> 
> 　　　　
> 
> ![1335117-20180725110610828-1781311849.png][]
> 
> ![1335117-20180725110620121-686703371.png][]
> 
> ![1335117-20180725110632539-1797186891.png][]
> 
> 上述近似的含义是说，用一个采样出来的样本来近似期望的计算。下面给出CD-k的算法执行流程。
> 
> ![1335117-20180725111156888-196834929.png][]
> 
> 具体RBM算法的流程：
> 
> ![1335117-20180725111244104-1640335476.png][]
> 
>

# 5、深度玻尔兹曼机（DBM） #

> 加深RBM的层数后，就变成了DBM，结构图如下：

![1335117-20180725111643260-2132686094.png][]

> 此时的能量函数变为：

![1335117-20180725111709389-1450724625.png][]

> 联合概率变成：

![1335117-20180725111729235-109219041.png][]

> 其实DBM也可以看做是一个RBM，比如对上图稍微加以变换就可以看做是一个RBM。

![1335117-20180725111859971-97779003.png][]

> 将可见层和偶数隐藏层放在一边，将奇数隐藏层放在另一边，我们就得到了RBM，和RBM的细微区别只是现在的RBM并不是全连接的，其实也可以看做部分权重为0的全连接RBM。RBM的算法思想可以在DBM上使用。只是此时我们的模型参数更加的多，而且迭代求解参数也更加复杂了。

[1335117-20180725104132887-2044793610.png]: /images/20220126/f6ccbd27e5274d3aaef20a48e4e16607.png
[20190530084306629.png]: https://img-blog.csdnimg.cn/20190530084306629.png
[2019053008440689.png]: /images/20220126/80c35fdc9d6d4190829a283e5bb32704.png
[1335117-20180725102236111-1214164338.png]: /images/20220126/62e23ee7ded846e6a04c9ac995cba526.png
[v_h]: https://baike.baidu.com/item/%E8%81%94%E5%90%88%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%83/12611723?fr=aladdin
[1335117-20180725102256785-1937949290.png]: /images/20220126/213e380792434fbba34925ce4fb56676.png
[1335117-20180725102320971-1745411646.png]: /images/20220126/63e5cf49306c455aa126af7a1f303601.png
[1335117-20180725102436057-261246452.png]: /images/20220126/ad30e9b7b1964e5e9abc7f70c0e844a4.png
[1335117-20180725102504034-960164181.png]: /images/20220126/39d7668eab064538a1e98c9b63704e53.png
[1335117-20180725102540663-444766632.png]: /images/20220126/f0f3641e8fbc4cedbc183cdbc6f2b07f.png
[1335117-20180725102600706-2045269565.png]: /images/20220126/d2cf2beb235f4b3789ce8c76666e8205.png
[1335117-20180725102744895-439635004.png]: /images/20220126/024d3264c4634dcab22dd2f9a58e4f7b.png
[1335117-20180725105226805-1636935537.png]: /images/20220126/686fc2e07acd4461a1d9f8fcc88234a2.png
[1335117-20180725105240199-1538084678.png]: /images/20220126/fd223d8c15c7471f9d6fa272caa6afb6.png
[1335117-20180725105250759-1413065903.png]: /images/20220126/4b2ac4d8be874221ba2e2d9dce67fb2d.png
[1335117-20180725110538322-875892900.png]: /images/20220126/1c7f42278eaa466db694ca686fcf8313.png
[1335117-20180725110610828-1781311849.png]: /images/20220126/740914d04de0485b84b0169ab1b09d81.png
[1335117-20180725110620121-686703371.png]: /images/20220126/8d035c6325864dd18e5d0ec87f81a351.png
[1335117-20180725110632539-1797186891.png]: /images/20220126/7aea815525804d458d703e0e6c1063e0.png
[1335117-20180725111156888-196834929.png]: /images/20220126/96aa7e43e06f47cbbc5f12a65f00ba90.png
[1335117-20180725111244104-1640335476.png]: /images/20220126/8b3f6304cfb442efadd00a2ade4b1d4d.png
[1335117-20180725111643260-2132686094.png]: /images/20220126/a1426fcd13d943cea624bf9dca408f0e.png
[1335117-20180725111709389-1450724625.png]: /images/20220126/02c33d49e42a43819a78d3fcf95d4f4d.png
[1335117-20180725111729235-109219041.png]: /images/20220126/3b5bf549e3724b5d9d3fa3789f8ec26a.png
[1335117-20180725111859971-97779003.png]: /images/20220126/e19e6f97115f4476b2bc999c594d9d22.png