二分类、多分类与多标签问题的区别,对应损失函数的选择,你知道吗？

妖狐艹你老母 2022-03-15 00:08 860阅读 0赞

二分类、多分类与多标签分类问题使用不同的激活函数和损失函数，结论见文末总结（如果你赶时间可以直接看结论，但建议有时间时回过头来看看分析更有助于理解）。

更多人工智能基础知识见 [望江小车车的博客][Link 1]

## 二分类、多分类与多标签的基本概念 ##

二分类：表示分类任务中有两个类别，比如我们想识别一幅图片是不是猫。也就是说，训练一个分类器，输入一幅图片，用特征向量x表示，输出是不是猫，用y=0或1表示。二类分类是假设每个样本都被设置了一个且仅有一个标签 0 或者 1。

多类分类(Multiclass classification): 表示分类任务中有多个类别, 比如对一堆水果图片分类, 它们可能是橘子、苹果、梨等. 多类分类是假设每个样本都被设置了一个且仅有一个标签: 一个水果可以是苹果或者梨, 但是同时不可能是两者。

多标签分类(Multilabel classification): 给每个样本一系列的目标标签. 可以想象成一个数据点的各属性不是相互排斥的(一个水果既是苹果又是梨就是相互排斥的), 比如一个文档相关的话题. 一个文本可能被同时认为是宗教、政治、金融或者教育相关话题。

## 多分类问题与二分类问题关系 ##

首先，两类问题是分类问题中最简单的一种。其次，很多多类问题可以被分解为多个两类问题进行求解（请看下文分解）。所以，历史上有很多算法都是针对两类问题提出的。下面我们来分析如何处理多分类问题：

### 直接分成多类 ###

### 一对一的策略 ###

给定数据集D这里有N个类别，这种情况下就是将这些类别两两配对，从而产生N(N−1)2个二分类任务，在测试的时候把样本交给这些分类器，然后进行投票。

### 一对其余策略 ###

将每一次的一个类作为正例，其余作为反例，总共训练N个分类器。测试的时候若仅有一个分类器预测为正的类别则对应的类别标记作为最终分类结果，若有多个分类器预测为正类，则选择置信度最大的类别作为最终分类结果。

## 多标签问题与二分类问题关系 ##

**面临的问题：** 图片的标签数目不是固定的，有的有一个标签，有的有两个标签，但标签的种类总数是固定的，比如为5类。

**解决该问题：** 采用了标签补齐的方法，即缺失的标签全部使用0标记，这意味着，不再使用one-hot编码。例如：标签为：-1,1,1,-1,1 ;-1表示该类标签没有，1表示该类标签存在，则这张图片的标签编码为：

0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1

2.如何衡量损失？

计算出一张图片各个标签的损失，然后取平均值。

3.如何计算精度

计算出一张图片各个标签的精度，然后取平均值。

**该处理方法的本质：把一个多标签问题，转化为了在每个标签上的二分类问题。**

## 损失函数的选择问题 ##

### 基于逻辑回归的二分类问题 ###

对于logistic回归，有：

![h\_\{\\theta\}(x) = g(\\theta^\{T\}x) = \\frac\{1\}\{1+e^\{-\\theta^\{T\}x\}\}][h_theta_x_ _ g_theta_T_x_ _ _frac_1_1_e_-_theta_T_x]

逻辑回归有以下优点：

1.  它的输入范围是 ![\-\\infty \\to+\\infty][-_infty _to_infty]，而之于刚好为（0，1），正好满足概率分布为（0，1）的要求。我们用概率去描述分类器，自然比单纯的某个阈值要方便很多；
2.  它是一个单调上升的函数，具有良好的连续性，不存在不连续点。

对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function) 。

![L(Y,P(Y|X)) = -logP(Y|X)][L_Y_P_Y_X_ _ -logP_Y_X]

逻辑回归中，采用的则是对数损失函数。根据上面的内容，我们可以得到逻辑回归的对数似然损失函数cost function：

![cost(h\_\{\\theta\}(x),y) = \\begin\{cases\}  -log(h\_\{\\theta\}(x))  & \\text \{if y=1\} \\\\ -log(1-h\_\{\\theta\}(x))  & \\text\{if y=0\} \\end\{cases\}][cost_h_theta_x_y_ _ _begin_cases_ -log_h_theta_x_ _ _text _if y_1_ _ -log_1-h_theta_x_ _ _text_if y_0_ _end_cases]

将以上两个表达式合并为一个，则单个样本的损失函数可以描述为：

![cost(h\_\{\\theta\}(x),y) = -y\_ilog(h\_\{\\theta\}(x)) - (1-y\_i)log(1-h\_\{\\theta\}(x))][cost_h_theta_x_y_ _ -y_ilog_h_theta_x_ - _1-y_i_log_1-h_theta_x]

这就是逻辑回归最终的损失函数表达式。

### 基于 Softmax 的多分类问题 ###

softmax层中的softmax 函数是logistic函数在多分类问题上的推广，它将一个N维的实数向量压缩成一个满足特定条件的N维实数向。压缩后的向量满足两个条件：

1.  向量中的每个元素的大小都在\[0,1\]
2.  向量所有元素的和为 1

因此，softmax适用于多分类问题中对每一个类别的概率判断，softmax的函数公式如下：

![a^L\_j = \\frac \{e^\{z^L\_j\}\}\{\\sum\_k e^\{z^L\_k\}\}][a_L_j _ _frac _e_z_L_j_sum_k e_z_L_k]

基于 Softmax 的多分类问题采用的是 log似然代价函数（log-likelihood cost function）来解决。

单个样本的 log似然代价函数的公式为：

![C = -\\sum\_i(\{\{y\_i\}\{log a\_i\}\})][C _ -_sum_i_y_i_log a_i]

其中， ![y\_i][y_i] 表示标签向量的第 ![i][] 个分量。因为往往只有一个分量为 1 其余的分量都为 0，所以可以去掉损失函数中的求和符号，化简为，

![C \\equiv -\\ln a\_j][C _equiv -_ln a_j]

其中， ![a\_j][a_j] 是向量 ![y][] 中取值为 1 对应的第 ![j][] 个分量的值。

### 交叉熵损失函数与 log 似然代价函数关系 本质一样 ###

有的文献中也称 log 似然代价函数为交叉熵损失函数，这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样呢？

![cost(h\_\{\\theta\}(x),y) = -y\_ilog(h\_\{\\theta\}(x)) - (1-y\_i)log(1-h\_\{\\theta\}(x))][cost_h_theta_x_y_ _ -y_ilog_h_theta_x_ - _1-y_i_log_1-h_theta_x]![C = -\\sum\_i(\{\{y\_i\}\{log a\_i\}\})][C _ -_sum_i_y_i_log a_i]

因为这两个交叉熵损失函数对应不同的最后一层的输出。第一个对应的最后一层是 sigmoid，用于二分类问题，第二个对应的最后一层是 softmax，用于多分类问题。但是它们的本质是一样的，请看下面的分析。

首先来看信息论中交叉熵的定义：

![\-\\int p(x)\\text\{log\}g(x)dx][-_int p_x_text_log_g_x_dx]

交叉熵是用来描述两个分布的距离的，神经网络训练的目的就是使 g(x) 逼近 p(x)。

### sigmoid + 交叉熵 ###

先看看 sigmoid 作为神经网络最后一层的情况。sigmoid 作为最后一层输出的话，那就不能吧最后一层的输出看作成一个分布了，因为加起来不为 1。现在应该将最后一层的每个神经元看作一个分布，对应的 target 属于二项分布(target的值代表是这个类的概率)，那么第 i 个神经元交叉熵为

![y\_i\\text\{log\}(h\_\{\\theta\})+(1-y\_i)\\text\{log\}(1-h\_\{\\theta\})][y_i_text_log_h_theta_1-y_i_text_log_1-h_theta]

其实这个式子可以用求和符号改写，

![C = -\\sum\_i(\{log(a\_i)\})][C _ -_sum_i_log_a_i]

其中，

![cost(h\_\{\\theta\}(x),y) = \\begin\{cases\}  -log(a\_i) & a\_i=h\_\{\\theta\}  & \\text \{if \}  y\_i=1 \\\\ -log(a\_i) & a\_i=1-h\_\{\\theta\}  & \\text\{if \} y\_i=0 \\end\{cases\}][cost_h_theta_x_y_ _ _begin_cases_ -log_a_i_ _ a_i_h_theta_ _ _text _if _ y_i_1 _ -log_a_i_ _ a_i_1-h_theta_ _ _text_if _ y_i_0 _end_cases]

### Softmax + 对数似然 ###

现在来看 softmax 作为神经网络最后一层的情况。g(x)是什么呢？就是最后一层的输出 y 。p(x)是什么呢？就是我们的one-hot标签。我们带入交叉熵的定义中算一下，就会得到：

![C = -\\sum\_i(\{\{y\_i\}\{log a\_i\}\})][C _ -_sum_i_y_i_log a_i]

### 交叉熵损失函数与 log 似然损失函数的总结 ###

注意到不管是交叉熵损失函数与 log 似然损失函数，交叉熵损失函数用于二分类问题， log 似然损失函数用于多分类，但是对于某一个样本只属于一个类别，只有一个标签。如果用 one-hot 编码样本的标签那么，对于标签向量只有一个分量的值为 1 其余的值都为 0。

所以不管是交叉熵损失函数与 log 似然损失函数，都可以化简为，

![C = -\\ln(a\_j)][C _ -_ln_a_j]

其中， ![a\_j][a_j] 是向量 ![y][] 中取值为 1 对应的第 ![j][] 个分量的值。这两个长的不一样的损失函数实际上是对应的不同的输出层。本质上是一样的。

我的建议是，采用 [Kears][] 中的命名方法，对于二分类的交叉熵损失函数称之为 **“二分类交叉熵损失函数（binary\_crossentropy）”** ，对于多分类的交叉熵损失函数称之为 **“多类别交叉熵损失函数（categorical\_crossentropy）”**。

在 Kears 中也有提示（注意: 当使用categorical\_crossentropy损失时，你的目标值应该是分类格式 (即，如果你有10个类，每个样本的目标值应该是一个10维的向量，这个向量除了表示类别的那个索引为1，其他均为0)。 为了将 整数目标值 转换为 分类目标值，你可以使用Keras实用函数to\_categorical：）

### 多标签分类 + 二分类交叉熵损失函数 ###

多标签问题与二分类问题关系在上文已经讨论过了，方法是计算一个样本各个标签的损失（输出层采用sigmoid函数），然后取平均值。把一个多标签问题，转化为了在每个标签上的二分类问题。

### 总结 ###

<table> 
 <thead> 
  <tr> 
   <th>分类问题名称</th> 
   <th>输出层使用激活函数</th> 
   <th>对应的损失函数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>二分类</td> 
   <td>sigmoid函数</td> 
   <td>二分类交叉熵损失函数（binary_crossentropy）</td> 
  </tr> 
  <tr> 
   <td>多分类</td> 
   <td>Softmax函数</td> 
   <td>多类别交叉熵损失函数（categorical_crossentropy）</td> 
  </tr> 
  <tr> 
   <td>多标签分类</td> 
   <td>sigmoid函数</td> 
   <td>二分类交叉熵损失函数（binary_crossentropy）</td> 
  </tr> 
 </tbody> 
</table>

--------------------

## 参考文献 ##

\[1\] François Chollet. Keras Document\[DB/OL\]. https://keras.io/, 2018-07-01.

\[2\] 目力过人. 多标签分类（multilabel classification ）\[DB/OL\]. https://blog.csdn.net/bemachine/article/details/10471383, 2018-07-01.

\[3\] Inside\_Zhang.【联系】二项分布的对数似然函数与交叉熵（cross entropy）损失函数\[DB/OL\]. https://blog.csdn.net/lanchunhui/article/details/75433608, 2018-07-01.

\[4\] ke1th. 两种交叉熵损失函数的异同DB/OL\]. https://blog.csdn.net/u012436149/article/details/69660214, 2018-07-01.

\[5\] bitcarmanlee. logistic回归详解一：为什么要使用logistic函数DB/OL\]. https://blog.csdn.net/bitcarmanlee/article/details/51154481, 2018-07-01.

[Link 1]: https://link.juejin.im?target=https%3A%2F%2Fyuanxiaosc.github.io%2F
[h_theta_x_ _ g_theta_T_x_ _ _frac_1_1_e_-_theta_T_x]: /images/20220315/48b5637e9b594756b3c008dc239bd1cc.png
[-_infty _to_infty]: /images/20220315/4f9782a98eb74d4ba0177e03b08ef2e0.png
[L_Y_P_Y_X_ _ -logP_Y_X]: /images/20220315/c2f0a598196b435891d6ead2bb020087.png
[cost_h_theta_x_y_ _ _begin_cases_ -log_h_theta_x_ _ _text _if y_1_ _ -log_1-h_theta_x_ _ _text_if y_0_ _end_cases]: /images/20220315/0b2ae949a2ea4afe8883ce34dd156a7c.png
[cost_h_theta_x_y_ _ -y_ilog_h_theta_x_ - _1-y_i_log_1-h_theta_x]: /images/20220315/9dd740f1ab08492e8169f660d0b91405.png
[a_L_j _ _frac _e_z_L_j_sum_k e_z_L_k]: /images/20220315/5dd89f5862fd49f593c610657f8b1431.png
[C _ -_sum_i_y_i_log a_i]: /images/20220315/27db56b60d2a442da12c5f5216a3c5e3.png
[y_i]: https://juejin.im/equation?tex=y_i
[i]: /images/20220315/46613b53d7fc4bf38f304bed5eaf5bd3.png
[C _equiv -_ln a_j]: /images/20220315/58ecf520a8d54b5994b644be11f26e8d.png
[a_j]: https://juejin.im/equation?tex=a_j
[y]: https://juejin.im/equation?tex=y
[j]: /images/20220315/8fc4d14f6ae84beaa2cf3d192bac707b.png
[-_int p_x_text_log_g_x_dx]: /images/20220315/1bb9ad47d80143a5a67c75fd30ce6d05.png
[y_i_text_log_h_theta_1-y_i_text_log_1-h_theta]: /images/20220315/939d08282ea74214b306b5d975030674.png
[C _ -_sum_i_log_a_i]: /images/20220315/a0758a493a214a759ecdbaef16acdcae.png
[cost_h_theta_x_y_ _ _begin_cases_ -log_a_i_ _ a_i_h_theta_ _ _text _if _ y_i_1 _ -log_a_i_ _ a_i_1-h_theta_ _ _text_if _ y_i_0 _end_cases]: /images/20220315/70ed554ced984b4486b0e666e5d3e1dd.png
[C _ -_ln_a_j]: /images/20220315/2a534a0a2e0b4911b8fee68c4d8116fc.png
[Kears]: https://link.juejin.im?target=https%3A%2F%2Fkeras.io%2F