AI入门：损失函数

逃离我推掉我的手 2022-12-27 08:21 141阅读 0赞

接着上一节的内容继续写。  
对于y = f(x) = x^2 + 2 \* x + 1这个方程，我们用代码重复计算1000次之后发现x 与-1非常接近，这时y = 0。这个结果与我们的预期非常接近。那么我们怎么判断我们的结论的好坏 (不是正确或错误) 呢？我们可以用我们的预测结果与真实结果之间差距进行衡量，简单来说就是定义一个损失函数:loss function。为什么叫损失函数呢？原因就是预测值与真实值之间多多少少会一定的差距，如果我们把这个预测值作为我们的结果，这就是误差，或者称之为“损失值”。

神经网络很少用来计算一个已知的函数的最小值 (上一节的例子)，它一般用来模拟一个 (复杂) 函数。这一节中将例举2个例子：线性回归和逻辑回归。

言归正传，我们常用的损失函数种类不多，大体分为两类：  
第一类：均方差损失函数 (MSE)，这个损失函数主要用在线性回归上。  
例如在y = 2x + 5的直线周围有随机生成的100个点。我们现在要拟合这条直线。这时我们就希望这100个点到y = w \* x + b这条直线的距离和最短，或者在此基础上简化一下：任意一个点(x0, y0)中 y0与y1 = w \* x0 + b的距离和最小：  
![在这里插入图片描述][20201209113206186.png]  
达到最小值。但是(y0 - y1)有可能是正数，也可能是负数，为了去除正负带来的影响，我们就采用均方差：MSE =  
![在这里插入图片描述][2020120911322642.png]  
作为损失函数。

我们将在后续章节中降解详细代码，这里只展示一下结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmdlaWwwMDc_size_16_color_FFFFFF_t_70]  
第二类：交叉熵损失函数(cross entropy)。这类损失函数用的比较多，而且可以继续细分为二分类的交叉熵损失函数(BCELoss：binary cross entropy) 和多分类的交叉熵损失函数(multi cross entropy)。一般情况下，除了上述线性回归问题，我们都使用交叉熵损失函数。

对于二分类问题：  
二分类问题是很多的，例如硬币只有正和反两种情况 (不要抬杠)，考试只有通过和不通过两种情况，这些都是二分类问题。对于考试来说，60和100都是及格，但是显然100分更好。对于这样的情况，我们需要把结果用sigmoid函数处理一下，得到0~1之间的一个概率值。当结果是0 ~ 0.5时，我们认为是0；0.5 ~ 1时，我们认为是1。  
我们认为是0或者1是对结果的预测。用sigmoid函数处理得到的数据越接近0或者1，预测结果就越准。这就是典型的逻辑回归问题。

在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 p和 1 - p 。此时表达式为：

![在这里插入图片描述][20201209114604123.png]其中：  
yi—— 表示样本i的label，正类为1，负类为0  
pi—— 表示样本i预测为正的概率  
二分类的概率p采用sigmoid函数计算。

多分类问题：  
多分类问题是很多的，例如之后我们要使用MNIST数据集进行手写数字的识别。基本的数字一共有10个，这就是典型的10分类问题。  
多分类的情况实际上就是对二分类的扩展：  
![在这里插入图片描述][20201209114623819.png]

M ——类别的数量；  
Yic ——指示变量（0或1）,如果该类别和样本i的类别相同就是1，否则是0；  
Pic ——对于观测样本i属于类别 c 的预测概率。  
多分类的概率p采用softmax函数计算。

如果真实数据与我们用神经网络模拟出来的数据非常接近，那么损失函数的值 (以下称为损失值) 会比较小。相反，如果我们的神经网络模拟效果不好，则损失值会比较大。对于一个没有训练过的神经网络，损失值往往是很大的。我们需要做的就是不断的调整神经网络中的参数，让损失值不断变小，最终达到一个最小值。这时，我们的神经网络就已经对真实数据有了一个很好的模拟和预测效果。

[20201209113206186.png]: /images/20221120/d1e0a8dc08fa48dc8ed4c905eaee3cae.png
[2020120911322642.png]: /images/20221120/a20e7650d7f84042a65afc559ce98a68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmdlaWwwMDc_size_16_color_FFFFFF_t_70]: /images/20221120/de493bbc81cb41ed88ed4143caae21b1.png
[20201209114604123.png]: /images/20221120/661e314bec6f4de9a3e543b16027618c.png
[20201209114623819.png]: /images/20221120/4cf65ff8086d4c35a89681eccff7ca8e.png