神经网络第三篇：输出层及softmax函数

迈不过友情╰ 2022-03-21 02:20 340阅读 0赞

在上一篇专题中，我们以三层神经网络的实现为例，介绍了如何利用Python和Numpy编程实现神经网络的计算。其中，中间(隐藏)层和输出层的激活函数分别选择了 sigmoid函数和恒等函数。此刻，我们心中不难发问：为什么要花一个专题来介绍输出层及其激活函数？它和中间层又有什么区别？softmax函数何来何去？下面我们带着这些疑问进入本专题的知识点：

**1 输出层概述**

**2 回归问题及恒等函数**

**3 分类问题及softmax函数**

**4 Python编程softmax函数**

**1 输出层概述**

神经网络/深度学习本质上都属于机器学习问题，而我们知道，机器学习一般分为**监督学习**和**非监督学习**，生活中，我们应用更多的是监督学习(简单来说需要事先通过**已知**的输入输出数据进行学习，然后对**未知**的输入数据进行**预测**)，以神经网络为例，学习的结果，即输出层的输出值y。该输出值既可以是一个连续的无范围约束的数值(**回归问题**)，也可以是一个离散的范围被限制(一般在0至1之间)的数值(**分类问题**)。所以针对不同的问题，我们对输出层的设计，即激活函数的设计应不同。一般情况下，在神经网络中，**回归问题选择恒等函数作为激活函数，分类问题选择****softmax****函数作为激活函数**。

--------------------

小提示：

监督学习又分为**回归问题**和**分类问题**。如果想对机器学习有一个透彻而全面的理解，给大家推荐一本OReilly出版的书籍《Introduction to MachineLearning with Python》，不知道现在是否发布了中文版，但网上已经有了很多读者自己上传的中文笔记，大家也可在我的博客中获取本人上传的阅读笔记。

--------------------

**2 回归问题及恒等函数**

“**回归**”一词对于理工科的人来说并不陌生，直观地讲，回归问题是根据输入来预测一个连续的数值的问题。比如根据一个人的日常饮食量来预测这个人的体重，这就是一个回归问题。为让大家更加明白，我们以数学表达式为例：

![20190220184020377.png][]

上面这个回归问题，以神经网络模型为例，首先需要向神经网络提供已知的正确的输入(食饭量和食肉量)和输出(体重)，通过这些信息，模型学到了变量的权重。然后就可以对输入进行输出预测。

不难理解，我们并不需要对这样的信号加权和进行其他处理，也就是说我们直接输出食饭量和食肉量的加权和即可。因此，在输出层的设计中，**输入信号应该原封不动地被输出**，即激活函数*h*()应该选择恒等函数(用*σ*()表示)，如下图：

![20190220184055538.png][]

由于激活函数选择的是恒等函数，因此输出值没有在我们的预定范围内。

**3 分类问题及****softmax****函数**

**3.1 分类问题**

顾名思义，“分类”就是判断一个数据集所描述的**类别**，比如**判断**图像中的人是男还是女，这里的数据集是图像数据，类别有男和女两个类别。既然是判断，那么它应该是一个概率性的问题，打个比方，一个画了浓妆艳抹的男扮女装，仅看照片，我们为了防止说话过于绝对，会以这样的方式表达：我觉得这照片**有可能**是男的；我觉得这照片**很有可能**是男的。以概率描述：我觉得这张照片是男性的可能性为**60%(0.6)**；我觉得这张照片是男性的可能性是**90%(0.9)**。

因此，我们对分类问题的判断结果，实际上是来自于概率。我们用上图来分析分类问题：图中的输出信号有三个y1、y2、y3，我们可以理解为这是一个三类别分类，对于输入的数据集，神经网络通过计算后得到值y1、y2、y3。**这三个值的大小都应该在****0****至****1****之间，且它们的和应该为****1**。对于一个输入来说，神经网络预测的结果就是y1、y2、y3中最大值所对应的类别。比如y1、y2、y3的值分别为0.2、**0.7**、0.1，那么神经网络对这个输入的预测结果就是类别“乙”。

![20190220184122513.png][]

**3.2 softmax****函数**

通过上面的分析，回归问题我们只需将输出层的输入信号原封不动地输出即可，而分类问题我们需要考虑两个问题：

(1)每个输出信号值在0至1之间。

(2)所有输出信号的和为1。

基于以上要求，分类问题中，输出层的激活函数常用softmax函数：

![201902201842065.png][]

exp(x)表示ex的指数函数，*a*k是输出层中第*k*个输入信号，exp(*a*k)表示*a*k的指数函数。分母表示输出层共有*n*个输出信号(**神经元**)，并计算所有输出层中的输入信号的指数和。*y*k是第k个神经元的输出。

仔细分析，该函数实际上等同于一个求占比的公式，读者可验证，信号加权和经softmax函数处理后完全满足上面两点要求。可以说，softmax函数很普通，只需完成**指数运算**、**求和运算**、**除法运算**。

**4 Python****编程****softmax****函数**

我们已经知道了y1、y2、y3都会有一个0至1之间的数值。而最后的分类结果则取决于这三个值中最大值所对应的类别。借助numpy的**广播功能**就能轻松实现这样的操作。在这之前，我们需要考虑一个**数值过大****(****溢出****)**的问题：softmax需要计算指数和，比如当*a*k中的某个值为1000时，其指数将是无穷大，由于计算机处理数值位数有限，因此有可能无法进行指数或求和运算。

为了解决这个潜在问题，我们对softmax函数作一下处理：

![20190220184241833.png][]

公式表明在进行softmax的指数运算时，加上某个常数不会改变运算的结果。为了防止结果值溢出，一般会使用输入信号中的最大值的负数为这个常数，Python编程代码如下：

import numpy as np
    def softmax(a):
        c=np.max(a) #求数组中的最大值
        exp=np.exp(a-c)  #指数运算
        sum_exp=np.sum(exp) #指数求和
        y=exp/sum_exp        #softmax函数值
        return y
    """测试"""
    a=np.array([0.4,5,3])
    y=softmax(a)
    print(y)  #输出[0.00877593 0.87306727 0.11815681]
    print(y.sum())  #输出1

程序是不是很简单？是的，在上一专题讲过的三层神经网络实现的代码中只需将恒等函数equal\_function()替换为softmax()函数即可。softmax函数的输出是0到1，且输出值的总和为1，因此把softmax函数的输出概率解释为“概率”。一般而言，神经网络只把输出值最大的神经元所对应的类别作为识别结果。比如测试代码中计算得到y的输出最大值为y\[1\]=0.87,因此对于这个输入数据而言，预测的分类为“乙类”，也可以说有87%的概率认为预测结果为“乙类”。

总结一下，这个专题介绍了输出层及其激活函数、回归问题、分类问题、恒等函数和softmax函数。在介绍这些知识点的过程中，我们始终以预测结果为背景展开的，因此阅读完这篇文章，读者应该对机器学习或者神经网络的预测的流程有一定了解。

下一专题，我们将以手写数字识别为例，对前面的知识作整体的终结。 欢迎关注“**Python****生态智联**”，学知识，享生活！

[20190220184020377.png]: /images/20220321/96a1fa1b18564e6d8d423cb4d12c3ee0.png
[20190220184055538.png]: /images/20220321/a16d9930a7084a64b8ea3016bb48e9ed.png
[20190220184122513.png]: /images/20220321/73ec964945824ae29b97f19d2e7d69d9.png
[201902201842065.png]: /images/20220321/384b856b533240e1a9c09a14e2ad9995.png
[20190220184241833.png]: /images/20220321/450eda23cd7149f9899fc7a1d516fc57.png