交叉熵损失函数

太过爱你忘了你带给我的痛 2021-11-11 12:34 421阅读 0赞

> 监督学习的两大种类是**分类问题**和**回归问题**。
> 
> **交叉熵损失函数主要应用于分类问题。**

> 先上实现**代码**，这个函数的功能就是计算labels和logits之间的交叉熵。
> 
>     tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_)

### 一、交叉熵 ###

首先一个问题，什么是交叉熵？

**交叉熵（Cross Entropy）****主要用于度量两个概率分布间的差异性信息**。

**交叉熵刻画了两个概率分布之间的距离。**

*（概率分布刻画了不同事件发生的概率，而且所有事件的概率求和为 1 ）*

假设两个概率分布p、q，p为真实分布，q为非真实分布（或预测分布），通过q来表示p的交叉熵为：

**![H(p,q)=-\\sum\_\{x\}p(x)\\cdot log q(x)][H_p_q_-_sum_x_p_x_cdot log q_x]**

交叉熵刻画的是两个概率分布之间的距离，但是神经网络的输出却不一定是一个概率分布。  
那么如何将神经网络前向传播得到的结果也编程概率分布呢？

--------------------

### 二、**Softmax** ###

这就需要用到**Softmax回归**。

首先看一下加上Softmax回归的神经网络结构图：

![Vici\_\_softmax][Vici_softmax]

从图中可以看出**Softmax层其实是一层处理层**，原始输出层通过Softmax层**转化成一个概率分布**，然后作为最终输出。

假设原始的神经网络输出为![y\_\{1\},y\_\{2\},\\cdot \\cdot \\cdot y\_\{n\}][y_1_y_2_cdot _cdot _cdot y_n]，那么经过Softmax回归处理之后的输出为：

![softmax(y\_\{i\})=\{y\_\{i\}\}'=\\frac\{e^\{y\_\{i\}\}\}\{\\sum\_\{j=1\}^\{n\}e^\{y\_\{j\}\}\}][softmax_y_i_y_i_frac_e_y_i_sum_j_1_n_e_y_j]

--------------------

### 三、分类问题什么要用交叉熵损失函数？ ###

首先我们要知道**损失函数就是为了刻画模型预测值和真实值之间的差异**。

上文所述，**交叉熵主要用于度量两个概率分布间的差异性信息**，**刻画了两个概率分布之间的距离。**

**我们使用Softmax层，它将原始的输出层转化成了一个概率分布，正好可以用交叉熵损失函数。**

[对于交叉熵的定义可以看下这篇文章《完美解释交叉熵》][Link 1]

参考书籍《TensorFlow实战Google深度学习框架》

[H_p_q_-_sum_x_p_x_cdot log q_x]: https://private.codecogs.com/gif.latex?%5Cdpi%7B150%7D%20H%28p%2Cq%29%3D-%5Csum_%7Bx%7Dp%28x%29%5Ccdot%20log%20q%28x%29
[Vici_softmax]: /images/20211109/a5b3df49e8714b66806f7a1caa17f6c1.png
[y_1_y_2_cdot _cdot _cdot y_n]: https://private.codecogs.com/gif.latex?y_%7B1%7D%2Cy_%7B2%7D%2C%5Ccdot%20%5Ccdot%20%5Ccdot%20y_%7Bn%7D
[softmax_y_i_y_i_frac_e_y_i_sum_j_1_n_e_y_j]: https://private.codecogs.com/gif.latex?%5Cdpi%7B150%7D%20softmax%28y_%7Bi%7D%29%3D%7By_%7Bi%7D%7D%27%3D%5Cfrac%7Be%5E%7By_%7Bi%7D%7D%7D%7B%5Csum_%7Bj%3D1%7D%5E%7Bn%7De%5E%7By_%7Bj%7D%7D%7D
[Link 1]: https://baijiahao.baidu.com/s?id=1618702220267847958&wfr=spider&for=pc