交叉熵损失函数

た入场券 2021-11-11 15:08 443阅读 0赞

1. Cross entropy

交叉熵损失函数用于二分类损失函数的计算,其公式为：

![573274-20190728165253168-15289458.png][]

其中y为真值,y'为估计值.当真值y为1时,

![573274-20190728165528539-2131599104.png][]

函数图形:

![573274-20190728170318854-1747086838.jpg][]

可见此时y'越接近1损失函数的值越小,越接近0损失函数的值越大.

当真值y为0时,

![573274-20190728172418975-960389255.png][]

函数图形:

![573274-20190728171402106-749475280.jpg][]

可见此时y'越接近0损失函数的值越小,越接近1损失函数的值越大.

2. Binary\_crossentropy

Binary\_crossentropy为二分类的交叉熵损失函数,如果网络最后一层是二分类的输出,比如激活函数是Sigmoid,就采用Binary\_crossentropy.

3. Categorical\_crossentropy

Categorical\_crossentropy为多分类的交叉熵损失函数,如果网络最后一层是多分类的输出,比如激活函数是Softmax,就采用Categorical\_crossentropy.

转载于:https://www.cnblogs.com/mstk/p/11260088.html

[573274-20190728165253168-15289458.png]: /images/20211109/a289b85c48af47bf865126978f4a34d1.png
[573274-20190728165528539-2131599104.png]: /images/20211109/9781027f55d84f8ba5851aa5ab8db059.png
[573274-20190728170318854-1747086838.jpg]: /images/20211109/7e2e3777eb3f467ea27f81dcda887c2a.png
[573274-20190728172418975-960389255.png]: /images/20211109/4d22c188ab73472cb8f63a5aae0a6a5b.png
[573274-20190728171402106-749475280.jpg]: /images/20211109/c2e8e7e2a7374c0cbc4e6fe3f8a77055.png

发表评论取消回复

表情：

评论列表（有 0 条评论，443人围观）

还没有评论，来说两句吧...

相关阅读

相关交叉熵损失CrossEntropyLoss

在各种深度学习框架中，我们最常用的损失函数就是交叉熵，熵是用来描述一个系统的混乱程度，通过交叉熵我们就能够确定预测数据与真实数据的相近程度。交叉熵越小，表示数据越接近真实样本。

缺乏、安全感/ 2024年03月16日 12:35/ 0 赞/ 7 阅读

相关 pytorch自定义交叉熵损失函数

这个在label为1维的时候能对的上。 2维测试交叉熵代码：注意： output 维度是\[batch\_size,所分类预测值，样本数\] label维度是\[ba

小鱼儿/ 2022年08月31日 00:45/ 0 赞/ 235 阅读

相关交叉熵损失函数原理详解

多分类中，只对目标正样本求loss，其余不管。知乎的这篇文章讲的也挺好： [https://zhuanlan.zhihu.com/p/35709485][https_zh

小灰灰/ 2022年08月29日 13:45/ 0 赞/ 183 阅读

相关交叉熵损失函数

一、香农熵香农熵 1948 年，香农提出了“ [信息熵][Link 1]”(shāng) 的概念，才解决了对信息的量化度量问题。一条

客官°小女子只卖身不卖艺/ 2022年07月16日 04:37/ 0 赞/ 251 阅读

相关 TensorFlow：交叉熵损失函数

基础损失函数 \[[机器学习中的损失函数][Link 1]\] 示例说明：计算multilabel时的BinaryCrossentropy tf.kera

以你之姓@/ 2022年06月12日 03:23/ 0 赞/ 315 阅读

相关二值交叉熵损失函数证明

下面的损失函数是用于图像分类任务，对于单个样本而言，令 y y y为样本的期望输出， y ^ \\hat\{y\} y^为样本的实际输出，那么Logistic回归的损失函数就可

朴灿烈づ我的快乐病毒、/ 2022年06月08日 11:55/ 0 赞/ 233 阅读

相关平方损失函数与交叉熵损失函数

1. 前言在机器学习中学习模型的参数是通过不断损失函数的值来实现的。对于机器学习中常见的损失函数有：平方损失函数与交叉熵损失函数。在本文中将讲述两者含义与响应的运用区别

素颜马尾好姑娘i/ 2022年05月25日 03:11/ 0 赞/ 357 阅读

相关神经网络的交叉熵损失函数

常见损失函数 0-1损失函数 L(Y,f(X))=\{ 1,0Y != f(X)Y = f(X) 平方损失函数 L(Y,f(X))=(

缺乏、安全感/ 2022年01月30日 04:06/ 0 赞/ 478 阅读

相关交叉熵损失函数

1. Cross entropy 交叉熵损失函数用于二分类损失函数的计算,其公式为： ![573274-20190728165253168-15289458.png][]

た入场券/ 2021年11月11日 15:08/ 0 赞/ 444 阅读

相关交叉熵损失函数

> 监督学习的两大种类是分类问题和回归问题。 > > 交叉熵损失函数主要应用于分类问题。 > 先上实现代码，这个函数的功能就是计算labels和logits之间的交叉熵。

太过爱你忘了你带给我的痛/ 2021年11月11日 12:34/ 0 赞/ 351 阅读