训练模型和衡量模型的好坏

约定不等于承诺〃 2023-06-04 05:54 1阅读 0赞

如果你看了前面几篇博客，我们说了决策树，说了adaboost，这次我们说下模型训练和衡量模型的好坏

其实我们已经训练了模型了，例如决策树的生成时模型训练，adaboost的实现也是模型训练的过程，所以我们已经训练了好几个模型，只是那个具体的模型，并且我们没有把模型保存下来

可能觉得自己不是在训练模型。

模型训练的输出是模型，什么是模型呢？

我们生成的决策树是模型，adaboost的那几条加权直线也是模型。

模型里面是什么？

模型里面是一系列的判断或者计算，对于任何一个预测数据，通过模型最终得到一个预测值。

如何衡量模型的好坏？我们着重讨论这个问题，下面我们就二分类问题讨论模型好坏的衡量

### 精度和召回率 ###

大的矩形是正负样本组成的训练集，右边的半矩形是正样本，左边的半矩形是负样本，中间的圆圈是预测为正的样本，那么精度precision和召回率recall的计算方法如右图所示

精度描述的是预测为正的结果里面真正正样本的比例，召回率描述的是：正样本里面被预测为正的比例

![611194-20161017194921826-434300691.png][]![611194-20161017195008217-98340606.png][]

### 准确度 ###

（true positive + true negative）/all：描述的是整个训练集预测正确的比例

那么如何利用这些指标衡量模型的好坏呢？

理想情况下，肯定是希望模型可以预测为正的全部都是正样本，并且全部的正样本都预测为正，精度和召回率都是100%

现实情况是，如果我们提高了精度，让预测为正的都是正样本，很可能就导致很多正样本没有被召回；如果我们提高了召回率，让更多的正样本被预测为正，很可能就会误把一些负样本预测为正，降低了精度。

精度和召回率升高到一定程度时，在一定范围是此起彼伏的关系， 那么如何衡量精度和召回率之间的关系呢？

###  fbeta ###

### ![611194-20161017203415482-398092812.png][]  ###

fbeta定义了一个衡量精度和召回率的可调函数，我们可以通过调整beta的值来更倾向于提高精度还是召回率

我们的目标都是希望fbeta值越大越好。

当beta=1时：希望fbeta越大越好的同时，同时提高进度和召回率

当beta<1时：希望在提高fbeta的同时，更多的提高召回率

当beta>1时：希望在提高fbeta的同事，更多的提高精度。

总结，对于二分类问题，我们可以用精度或者召回率来衡量模型的好坏，如果我们想用一个统一的评价，我们可以使用fbeta，还可以设定beta值，更多的提高精度或者召回率。

转载于:https://www.cnblogs.com/qwj-sysu/p/5970803.html

[611194-20161017194921826-434300691.png]: https://images2015.cnblogs.com/blog/611194/201610/611194-20161017194921826-434300691.png
[611194-20161017195008217-98340606.png]: /images/20230601/d3dd071d655a4b92b7d9b39d0695c154.png
[611194-20161017203415482-398092812.png]: /images/20230601/6f770ff870d34acabaf00db4bbafbc27.png

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关如何训练模型

训练模型通常需要以下几个步骤： 1. 准备训练数据：这通常包括收集大量的输入数据和对应的正确输出，并将它们分成训练集和测试集。 2. 选择模型类型：根据问题的特点，选择合

逃离我推掉我的手/ 2024年03月26日 08:53/ 0 赞/ 50 阅读

相关 DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】

第1章：DeepSpeed-Chat 模型训练实战本章内容介绍如何使用微软最新发布的 DeepSpeed Chat 来训练类 ChatGPT 的大模型。通过本章内

青旅半醒/ 2023年10月13日 09:14/ 0 赞/ 15 阅读

相关 PyTorch训练（四）：模型量化训练【①模型训练完毕后的动态量化、②模型训练完毕后的静态量化、③模型训练中开启量化】

一、概述在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点：

ゝ一纸荒年。/ 2023年09月29日 15:26/ 0 赞/ 27 阅读

相关如何衡量软件质量好坏？

作为测试人员肯定会被问如何评价一个软件质量的好坏。一般同学都会回答说，上线没 bug。但是一款软件如果没人用，那肯定没 Bug。所以没 bug 绝对不是一个好的评判标准。那

约定不等于承诺〃/ 2023年09月27日 23:27/ 0 赞/ 135 阅读

相关训练模型和衡量模型的好坏

如果你看了前面几篇博客，我们说了决策树，说了adaboost，这次我们说下模型训练和衡量模型的好坏其实我们已经训练了模型了，例如决策树的生成时模型训练，adaboost的实

约定不等于承诺〃/ 2023年06月04日 05:54/ 0 赞/ 2 阅读

相关 PyTorch：模型训练和预测

[\-柚子皮-][-_-] 模型训练和预测模型训练单机训练传统的batch训练函数简单的说就是进来一个batch的数据，计算一次梯度，更新一次网络

- 日理万妓/ 2022年12月16日 15:24/ 0 赞/ 175 阅读

相关 PyTorch：模型训练-模型参数parameters

[\-柚子皮-][-_-] 获取模型参数的不同方法 1、model.named\_parameters()，迭代打印model.named\_parameters()将

╰半橙微兮°/ 2022年12月16日 15:24/ 0 赞/ 228 阅读

相关 tf预训练模型转换为torch预训练模型

在将albert的tensorflow预训练模型转换为 torch类型预训练模型，踩了很多坑。终于解决，希望对大家有用 1. 前期准备创建一个环境带有torc

た入场券/ 2022年11月11日 05:51/ 0 赞/ 300 阅读

相关 spacy训练模型和更新

文章目录模型训练模型更新训练训练数据格式模型训练初始化模型权重使其变成随机值：调用`nlp.begin_t

落日映苍穹つ/ 2022年09月06日 00:10/ 0 赞/ 218 阅读

相关 [算法]什么算法?怎么衡量算法的好坏?

一什么是算法? 在计算机领域中,算法是一系列的程序指令,用于处理特定的运算和逻辑问题. 衡量算法的好坏主要的指标是时间复杂度和空间复杂度二怎么衡

一时失言乱红尘/ 2021年12月10日 12:57/ 0 赞/ 316 阅读