关于损失函数的一些个人理解

刺骨的言语ヽ痛彻心扉 2022-04-18 02:47 228阅读 0赞

## 关于损失函数的一些个人理解 ##

### 1、损失函数的定义：量化不同的错误到底有多坏 ###

### 2、SVM损失函数 ###

### 真实分类的得分要比其他分类的得分高出足够的安全边距，那么损失为0，也就是有足够的能力进行分类了，并且大于足够的阈值后，即能够正确分类了，算法就不管了不再继续了。 ###

### 一开始用一些很小的随机值来初始化并在第一次迭代时损失函数等于C-1 ###

### （1）hinge损失（合页损失）是SVM损失函数的一种，对微小的错误并不在意，但出现很多错误就扩大错误，以纠正的更加正确。 ###

### （2）平方hinge损失函数，将错误的分类变得更加大，一点都不想要错误的分类。 ###

### 3、softmax loss或交叉熵损失 ###

### 一般用于softmax分类器或者多项式逻辑斯蒂回归 ###

### 经过softmax后能够得到一个概率分布，softmax的输出向量S是一个概率分布（映射到（0，1）区间） ###

### 因为找到log（单调函数）的最大值相对简单，所以用log函数，加负号是因为loss函数是衡量坏的程度而不是好的程度。 ###

### 并且softmax loss会将正确的分值推向无穷大，错误的推向无穷小，总是不断尝试提高正确的分值，降低错误的分值，使每一个数据点都越来越好，同时也增强了分类器的鲁棒性。 ###

### softmax loss公式如下： ###

![SouthEast][]

### Sj是softmax输出向量S的第j个值，表示这个样本属于第j个类的概率。 ###

### cross entropy loss的公式如下： ###

![SouthEast 1][]

### 当cross entropy的输入P是softmax函数的输出时，cross entropy损失=softmax loss ###

### 也就是说：softmax函数的输出作为输入——>cross entropy loss =softmax loss. ###

### 并且在二分类中，用sigmoid将输入映射到（0，1）区间；而在多分类中用softmax将输入映射到（0，1）区间 ###

[SouthEast]: /images/20220418/7d8507dc1678428bb1744d364f223d80.png
[SouthEast 1]: /images/20220418/c46056627ed443ada57a641974015923.png

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关关于协程的一些个人理解

了这么多年java，觉得java不支持协程就是无脑的行为，必须为go支持协程点个赞，最近在优化性能，对过了这么多年java仍然没在语言级提供协程感觉痛心，刚好看到一篇文章...

╰半橙微兮°/ 2024年04月17日 14:29/ 0 赞/ 9 阅读

相关个人关于学习的一些总结

仅仅是个人学习过程中的一些感触而已 1. 技术更新迭代非常快，不能一味追新。更重要的是注重基础，把基础打牢。 2. 编程语言非常多，而且每次新语言都会有一些非常诱人的新特

快来打我*/ 2022年12月31日 01:18/ 0 赞/ 147 阅读

相关关于 Python 装饰器的一些个人理解

装饰器 1. 本质是一个接受参数为函数的函数。 2. 作用：为一个已经实现的方法添加额外的通用功能，比如日志记录、运行计时等。举例不带参数的装饰器，不用

桃扇骨/ 2022年11月29日 12:55/ 0 赞/ 125 阅读

相关关于函数指针的一些理解

对于函数指针之类的问题，很多人都是很怕的，虽然有时候用的并不是很多，但是还是讲一下自己的理解吧！也有一个简单的原则就是：还记得有一部电视剧是《向左走向右走》么？

川长思鸟来/ 2022年06月13日 01:46/ 0 赞/ 156 阅读

相关关于数组的一些个人理解和源码

数组的特殊性： java中有大量其他的方式可以持有对象，为什么数组十分的与众不同呢？因为数组与其他种类别的容器的区别有三方面：效率、类型和保存基本类型的能力。 Ja

男娘i/ 2022年05月30日 01:15/ 0 赞/ 163 阅读

相关关于损失函数的一些个人理解

关于损失函数的一些个人理解 1、损失函数的定义：量化不同的错误到底有多坏 2、SVM损失函数真实分类的得分要比其他分类的得分高出足够的安全边距，那么损失为

刺骨的言语ヽ痛彻心扉/ 2022年04月18日 02:47/ 0 赞/ 229 阅读

相关 Batch Normalization的一些个人理解

简单说一说Batch Normalization的一些个人理解： 1、要说batch normalization不得不先说一下梯度消失和梯度爆炸问题梯度消失一是容

Love The Way You Lie/ 2022年04月17日 00:35/ 0 赞/ 166 阅读

相关关于大数问题的个人理解

大数问题也不是第一次接触过，但是只是零零碎碎的做过几道题，并没有很系统的整理过，并且自己的处理上多多少少存在很多瑕疵，所以这里做一个整理；一、大数的存储：相应的，大数

缺乏、安全感/ 2022年03月07日 03:46/ 0 赞/ 226 阅读

相关关于Page Object个人结合测试框架的一些理解

在写公司web项目的UI自动化脚本一段时间了，对于UI自动化的整个框架逐渐有了一些认识，但好多底层的架构和封装还依旧在摸索中。整理了一部分总结来帮助自己梳理和更好的理解UI自动

谁践踏了优雅/ 2021年11月01日 22:36/ 0 赞/ 236 阅读

相关关于闭包的一些个人理解和总结

关于闭包的一些个人理解闭包是函数闭包通常是在函数内部创建了另一个函数（即闭包）闭包可以访问自己的作用域，创建闭包的函数作用域以及全局作用域闭包

r囧r小猫/ 2021年07月26日 19:07/ 0 赞/ 370 阅读