稀疏自编码器的隐层激活函数不能用relu，要用sigmoid

「爱情、让人受尽委屈。」 2023-02-16 06:53 0阅读 0赞

> 我看的资料是Andrew课程的配套pdf，大家可以去网上找：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70]

# 为什么不可以用relu #

本文不讲稀疏自编码器的理论和原理，网上资料很多，上面的论文也讲得很好。直接说问题。

最近用稀疏自编码器做点事情，需要在传统普通自编码器的均方损失上加点正则化项，即**稀疏性项**。

看了论文里稀疏自编码器的思想以及对应的数学推导后，开始动手做。但是很快遇到一个没想到的问题，全网基本搜索不到这个问题，很多博文都是把稀疏自编码器的理论推导讲完就没了，或者有一点实验性的代码，但是看不太出来使用的损失函数和**KL散度的计算**。

我遇到的问题是：我像DNN那样，习惯性的使用**relu**激活函数，在传统自编码器里，只有平方损失，所以用relu没什么问题，挺好的。但是稀疏自编码器的思想是：要让隐层的每个神经元的激活程度接近于0，一般是0.05，我看到很多代码都是直接用的0.05，没毛病。但是根据这个稀疏性思想，数学推导得到的KL散度计算公式是：  
![在这里插入图片描述][2020060911030073.png]  
其中 ρ ^ j \\hat\\rho\_j ρ^j是输入层所有神经元在隐层第j个神经元上激活值的平均。

如果只看理论，只学理论，大概率不会立刻提出一个问题，即：

如果 ρ ^ j > 1 \\hat\\rho\_j>1 ρ^j>1怎么办？？？

看看relu函数，它不会把权重矩阵，输入的偏置向量和输入向量经过线性运算得到的激活值映射到（0,1）区间。所以得到的 ρ ^ j \\hat\\rho\_j ρ^j有可能会大于1。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70 2]

这会导致log里面的值为负，但是数学上，log运算的操作数必须大于0。如果为负，程序会抛出异常，这个在C++属于domain\_error类异常（参数不在函数的定义域内），不知道Python怎么叫，但是好的语言和编译器比如pycharm的编译器，都会捕捉这种异常，然后返回一个nan非数值来处理异常，程序不会崩溃，也能提示你程序有问题需要解决。

我也没有立刻察觉这个问题，而是吭哧吭哧写代码，一运行，发现nan，才逐步排查到这里。发现了这个天坑。因为所有讲解稀疏自编码器的人基本都没有提到这个问题，难道他们全部默认用sigmoid？

后来想了想，又在网上找别人的代码看，发现大家在稀疏自编码器的隐层都不约而同使用了sigmoid激活函数，而没有使用relu，所以我得出了结论：

KL散度计算就是按照上面的公式（但是可以化简一下，后面说），且稀疏自编码器由于要这么计算KL散度作为稀疏性惩罚项，所以他的**隐层只可以使用sigmoid激活函数**，而**不能用relu激活函数**，因为后者会使得隐层的平均激活程度大于1。

# KL散度计算公式的简化 #

如上所述，计算公式是这个：  
![在这里插入图片描述][2020060911030073.png]  
其中的求和项就是每一个神经元激活值的概率分布和我们设定的希望的常数 ρ \\rho ρ的KL散度。

![在这里插入图片描述][20200609112401611.png]

但是由于 ρ \\rho ρ是常数，所以其中有一些项也是常数，在计算损失的时候就可以不算：  
 ρ log ⁡ ρ ρ ^ j + ( 1 − ρ ) log ⁡ 1 − ρ 1 − ρ ^ j = \\rho\\log \\frac\{\\rho\}\{\\hat \\rho\_j\}+(1-\\rho)\\log \\frac\{1-\\rho\}\{1-\\hat\\rho\_j\}= ρlogρ^jρ\+(1−ρ)log1−ρ^j1−ρ=

ρ log ⁡ ρ − ρ log ⁡ ρ ^ j + ( 1 − ρ ) log ⁡ ( 1 − ρ ) − ( 1 − ρ ) log ⁡ ( 1 − ρ ^ j ) \\rho \\log \\rho -\\rho\\log \\hat\\rho\_j+(1-\\rho)\\log (1-\\rho) - (1-\\rho) \\log (1-\\hat\\rho\_j) ρlogρ−ρlogρ^j\+(1−ρ)log(1−ρ)−(1−ρ)log(1−ρ^j)

其中第一项和第三项是常数，因为 ρ \\rho ρ是常数。

所以写代码的时候，计算KL散度，只需要计算第二项和第四项，很多代码都是这么写的。  
 − ρ log ⁡ ρ ^ j − ( 1 − ρ ) log ⁡ ( 1 − ρ ^ j ) -\\rho\\log \\hat\\rho\_j- (1-\\rho) \\log (1-\\hat\\rho\_j) −ρlogρ^j−(1−ρ)log(1−ρ^j)

> 我对这块了解不是很深入，不知道这个结论（标题）是否正确，如有错误，请批评指正。可不可以先把网络层的输出先批标准化，使得输出都在0-1之间再进行relu呢？？

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200609110321179.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0,size_16,color_FFFFFF,t_70
[2020060911030073.png]: https://img-blog.csdnimg.cn/2020060911030073.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020060911153238.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200609111603505.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjA3ODk0,size_16,color_FFFFFF,t_70
[20200609112401611.png]: https://img-blog.csdnimg.cn/20200609112401611.png