Logistic Regression 与交叉熵损失函数理解及常用损失函数总结

矫情吗；* 2022-05-17 09:20 178阅读 0赞

## 第一部分 Logistic Regression 与交叉熵损失函数理解 ##

先了解什么是logistics 回归：

![70][]

hθ(x)为激活值或者预测值。g(z)就是sigmoid函数。sigmoid函数yiby一般用于二分类时作为最后输出层的激活函数

**似然损失函数cost function：**

![70 1][]

解释下对数似然损失函数原理：是如何起损失函数作用的：

当y=1时，假定这个样本为正类。如果此时预测值hθ(x)=1,则单对这个样本而言的其损失就为0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的损失=0   
但是如果此时预测值hθ(x)=0，那么cost→∞。这样的话，由于此时样本为一个正样本，但是预测的结果P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0，那么此时就要对损失函数加一个很大的惩罚项。

同理当y=0时，也是一样的推导，在这不再赘述。

用极大似然法将以上两个表达式合并为一个，则总样本的损失函数可以描述为下式。

![70 2][]

所谓softmax损失函数，就是softmax中则通过取exponential的方式（softmax中e^x计算）并进行归一化得到某个样本属于某类的概率（如下公式进行计算），就是避免正负值抵消。再通过似然损失函数计算。

![70 3][]

所谓逻辑斯特损失函数就是通过simgoid将预测值转换为概率值，再通过似然损失函数进行计算。

## 第二部分：常用损失函数 ##

机器学习或者统计机器学习常见的损失函数如下：

1.平方损失函数（quadratic loss function)

![70 4][]

2.绝对值损失函数(absolute loss function)

![70 5][]

3.0-1损失函数 （0-1 loss function）

![70 6][]

4.对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function)

![70 7][]

逻辑回归中，采用的则是对数损失函数。如果损失函数越小，表示模型越好。

[70]: /images/20220517/9afdf51cefa040fd8c7c77f81a92f347.png
[70 1]: /images/20220517/2a7cab069e84455a8e9576787b7b4e6b.png
[70 2]: /images/20220517/d92770dc805d4beeaea245318707cf2b.png
[70 3]: /images/20220517/384a65e55fa740a18b166d7d5da13da1.png
[70 4]: /images/20220517/6ccb870573cc47bb9aefa5484cabcebf.png
[70 5]: /images/20220517/d490a6f75fbf4d8faac265047468f46d.png
[70 6]: /images/20220517/e726814cc5f5429f81dc77e3bb9bf127.png
[70 7]: /images/20220517/c34ee48f728a428b866ff8f2da7932e0.png