Hinge loss

谁践踏了优雅 2022-06-12 14:13 143阅读 0赞

原文链接：[Hinge loss][]

## Hinge loss ##

在机器学习中，hinge loss常作为分类器训练时的损失函数。hinge loss用于“最大间隔”分类，特别是针对于支持向量机（SVM）。对于一个期望输出![这里写图片描述][SouthEast]和分类分数y，预测值y的hinge loss被定义为：  
![这里写图片描述][SouthEast 1]**（为了方便将其写作L(y)）**  
注意：这里的y分类器决策函数的“原始”输出，而不是预测的类别标签。例如，在线性SVM中，y=wx+b，(w,b)是分类超平面的参数，x是要分类的点。  
可以看到，当t和y有相同的符号的时候（这意味着y的预测是正确的）并且![这里写图片描述][SouthEast 2]，hinge loss的结果为L(y)=0，但是当出现错误的分类是，hinge loss的L(y)与y呈线性关系（一个线性误差）。

## 扩展 ##

当然有时二分类的SVM通常会以一对一或者一对多的形式扩展到多分类的任务，为了实现这个目的，也可以扩展hinge loss函数。现在已经有多种hinge loss的不同的变化形式。比如，Crammer and Singer提出的一种针对线性分类器的损失函数：  
![这里写图片描述][SouthEast 3]

Weston and Watkins提出了一种相似定义，但是用相加取代了求最大值：  
![这里写图片描述][SouthEast 4]

在结构化预测中，hinge loss可以进一步扩展到结构化输出空间。具有边缘重新缩放的结构化SVM使用以下变量，其中w表示SVM参数，y表示SVM的预测结果，φ是联合特征函数，Δ表示Hamming loss：

![这里写图片描述][SouthEast 5]

## 优化 ##

hinge loss是一个凸函数，所以，很多在机器学习中涉及到的凸优化方法同样适用于hinge loss。它是不可微的（不连续啊），但是对于线性SVM（![这里写图片描述][SouthEast 6]），具有关于模型参数w的子梯度，被定义为：  
![这里写图片描述][SouthEast 7]  
然而，因为hinge loss在t\*y=1的时候导数是不确定的，所以一个平滑版的hinge loss函数可能更加适用于优化，它由Rennie and Srebro提出：  
![这里写图片描述][SouthEast 8]

除此之外，还有二次方（平方）平滑：

![这里写图片描述][SouthEast 9]

[modified Huber loss][]是在![这里写图片描述][SouthEast 10]时的特殊情况。

![这里写图片描述][SouthEast 11]  
上图为hinge loss函数关于z=ty的三种版本，蓝色的线是原始版，绿色线为二次方平滑，红色的线为分段平滑，也就是被Rennie and Srebro 提出的那一版。

![这里写图片描述][SouthEast 12]  
上图中为hinge loss（蓝）和0/1损失（绿）。注意，hinge loss函数惩罚了ty<1（也就是说在ty<1的时候有loss不为0），这个特点和SVM中的分类间隔的概念是相对应的。

[Hinge loss]: https://en.wikipedia.org/wiki/Hinge_loss
[SouthEast]: /images/20220612/c138a4f8eadc4050a744b4ac950f185b.png
[SouthEast 1]: /images/20220612/93b665b486c44663b0b473789b923da9.png
[SouthEast 2]: /images/20220612/5ea2239203af495eaef9a3e00b7c24a1.png
[SouthEast 3]: /images/20220612/283b43ffaa864530a1ac2c304204c16f.png
[SouthEast 4]: /images/20220612/063a8e406fed4286beb6ed99458f4f19.png
[SouthEast 5]: /images/20220612/fc02118c44e140cd902e1c97dc0a713d.png
[SouthEast 6]: /images/20220612/6459c8c19c1044ca99d823f5afc9d72c.png
[SouthEast 7]: /images/20220612/c444e632dfa54c94848e19245d4e2d39.png
[SouthEast 8]: /images/20220612/410c43d786414b99b67c9352ae53b761.png
[SouthEast 9]: /images/20220612/378c1e95d45740ce9a767df6f69e25ec.png
[modified Huber loss]: https://en.wikipedia.org/wiki/Huber_loss#Variant_for_classification
[SouthEast 10]: https://img-blog.csdn.net/20170724210329719?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hhaXBwMDYwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 11]: /images/20220612/29a68caca305423ca227685119e0fc81.png
[SouthEast 12]: /images/20220612/ce05e6ecb79a462da6bff081a0f4292d.png