机器学习-二分类问题常见的评价指标

﹏ヽ暗。殇╰゛Y 2022-01-19 03:49 617阅读 0赞

#     #

# 一、准确率 #

准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。

但是准确率在数据不均衡的数据集上会缺少一定的说服力，比如一个数据集，有990正样本，10个负样本，现在模型把样本全部都预测成正样本，那么我们说模型的准确率是99%，这个从计算上看是没问题，但是当样本不均衡时，光使用准确率来评价一个模型的好坏是不够的。

# 二、精准率和召回率 #

二分类问题的预测结果可以根据情况分成以下四类：

真正例（True Positive）：预测值为1，真实值为1

假正例（False Positive）：预测值为1，真实值为0

真反例（True Negative）：预测值为0，真实值为0

假反例（False Negative）：预测值为0，真实值为1

构造成结果的混淆矩阵

精准率又称查准率：

召回率又称查全率：

精准率可以解释为，预测为正例的样本中，有多少是真的正例

召回率可以解释为，真实的正例的样本中，有多少被预测出来

F1：精准率和召回率的调和平均

# 三、AUC #

AUC是另一种评价二分类算法的指标，被定义为 ROC 曲线下的面积。那什么是ROC曲线呢？

ROC曲线的坐标，纵坐标为真正例率（True Positive Rate,TPR），横坐标为假正例率（False Positive Rate,FPR）

具体定义如下：

根据模型在ROC坐标上的位置，可以判断模型的性能

模型1

模型2

横纵坐标

ROC坐标上的四个点

（0,1）：所有样本分类正确

（1,0）：所有样本分类错误

（0,0）：所以样本都分类为负

（1:1）：所以样本都分类为正

由上图可以看出模型2要好于模型1

怎么画出AUC曲线呢，首先按照预测值进行排序

按照预测值大小，依次作为阈值，求解FP rate和TP rate

按照上图的信息可以画出曲线

曲线下的面积被称为AOC

AOC的意义：衡量正样本排在负样本前面的能力，这里的能力更具体一点就是出现的概率。与域值的选取没有关系。

# 四、混淆矩阵 #

对于多分类的相关问题，常用的评价标准是混淆矩阵

如果分成n个类别的话，混淆矩阵的形式是一个

的一个矩阵，具体的形式如下

上图中每一列代表预测的类别，每一行代表真实的类别的归属，第二行cat的总数量为8，表示类cat总共有8个样本，其中3个分类正确，3个被错误的分到了dog，2个被错误的分到了robbit。

如果计算cat的准确率计算公式如下

参考文献：

1、 李航《统计学习方法》清华大学出版社

2、周志华 《机器学习》 清华大学出版社

3、Confusion matrix

4、sklearn.metrics.confusion\_matrix - scikit-learn 0.20.2 documentation

本文源自贪心学院：苏品毓

转载于:https://juejin.im/post/5caaeee9f265da24d1191537

发表评论取消回复

表情：

评论列表（有 0 条评论，617人围观）

还没有评论，来说两句吧...

相关阅读

相关 11. 机器学习 - 评价指标2

文章目录混淆矩阵 F-score AUC-ROC ![在这里插入图片描述][1d8a70569a2442aeaf81ee

约定不等于承诺〃/ 2024年03月27日 00:16/ 0 赞/ 33 阅读

相关机器学习中，评价指标Top

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3Rl

Love The Way You Lie/ 2022年12月25日 05:00/ 0 赞/ 124 阅读

相关机器学习模型的评价指标和方法

http://[blog.csdn.net/pipisorry/article/details/52574156][blog.csdn.net_pipisorry_articl

向右看齐/ 2022年09月26日 02:43/ 0 赞/ 137 阅读

相关机器学习二分类问题模型效果度量方法

ref [http://blog.csdn.net/ice110956/article/details/20288239][http_blog.csdn.net_ice11

r囧r小猫/ 2022年06月09日 04:11/ 0 赞/ 241 阅读

相关机器学习算法模型评价指标ROC AUC

【导读】在机器学习研究或项目中使用分类精度、均方误差这些方法衡量模型的性能。当然，在进行实验的时候，一种或两种衡量指标并不能说明一个模型的好坏，因此我们需要了解常用的几种机器学

电玩女神/ 2022年05月30日 03:56/ 0 赞/ 232 阅读

相关机器学习（十四）轻松理解模型评价指标

篇首语相信大家都知道下面的图片是啥意思，每个无论在啥公司、无论哪个行业都有自己的KPI评价指标，公司会根据公司情况设定公司战略KPI、部门KPI、以及每个

淩亂°似流年/ 2022年05月22日 23:15/ 0 赞/ 274 阅读

相关机器学习之算法模型评价指标

机器学习评价指标 1、几个概念精确率：Precision——”正确被检索的item(TP)”占所有”实际被检索到的(TP+FP)”的比例召回率：Recall—

落日映苍穹つ/ 2022年05月17日 06:27/ 0 赞/ 216 阅读

相关机器学习常见问题

参考：http://kubicode.me/2015/08/16/Machine%20Learning/Common-Interview/?from=singlemessage

左手的ㄟ右手/ 2022年04月10日 02:51/ 0 赞/ 625 阅读

相关机器学习-二分类问题常见的评价指标

一、准确率准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。但是准确率在数据不均衡的数据集上会缺少一定的说服力，

﹏ヽ暗。殇╰゛Y/ 2022年01月19日 03:49/ 0 赞/ 618 阅读

相关机器学习评测指标 - 问题思考

这些问题可以思考一下，答案会不断的补充。评测指标有哪些？这主要介绍一些评测指标，我们拿二分类问题来看，二分类问题中主要分为正分类和负分类，那么训练一个模型后，模型的

红太狼/ 2021年10月13日 17:38/ 0 赞/ 285 阅读