机器学习-二分类问题常见的评价指标

﹏ヽ暗。殇╰゛Y 2022-01-19 03:49 665阅读 0赞

#     #

# 一、准确率 #

准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。

但是准确率在数据不均衡的数据集上会缺少一定的说服力，比如一个数据集，有990正样本，10个负样本，现在模型把样本全部都预测成正样本，那么我们说模型的准确率是99%，这个从计算上看是没问题，但是当样本不均衡时，光使用准确率来评价一个模型的好坏是不够的。

# 二、精准率和召回率 #

二分类问题的预测结果可以根据情况分成以下四类：

真正例（True Positive）：预测值为1，真实值为1

假正例（False Positive）：预测值为1，真实值为0

真反例（True Negative）：预测值为0，真实值为0

假反例（False Negative）：预测值为0，真实值为1

构造成结果的混淆矩阵

精准率又称查准率：

召回率又称查全率：

精准率可以解释为，预测为正例的样本中，有多少是真的正例

召回率可以解释为，真实的正例的样本中，有多少被预测出来

F1：精准率和召回率的调和平均

# 三、AUC #

AUC是另一种评价二分类算法的指标，被定义为 ROC 曲线下的面积。那什么是ROC曲线呢？

ROC曲线的坐标，纵坐标为真正例率（True Positive Rate,TPR），横坐标为假正例率（False Positive Rate,FPR）

具体定义如下：

根据模型在ROC坐标上的位置，可以判断模型的性能

模型1

模型2

横纵坐标

ROC坐标上的四个点

（0,1）：所有样本分类正确

（1,0）：所有样本分类错误

（0,0）：所以样本都分类为负

（1:1）：所以样本都分类为正

由上图可以看出模型2要好于模型1

怎么画出AUC曲线呢，首先按照预测值进行排序

按照预测值大小，依次作为阈值，求解FP rate和TP rate

按照上图的信息可以画出曲线

曲线下的面积被称为AOC

AOC的意义：衡量正样本排在负样本前面的能力，这里的能力更具体一点就是出现的概率。与域值的选取没有关系。

# 四、混淆矩阵 #

对于多分类的相关问题，常用的评价标准是混淆矩阵

如果分成n个类别的话，混淆矩阵的形式是一个

的一个矩阵，具体的形式如下

上图中每一列代表预测的类别，每一行代表真实的类别的归属，第二行cat的总数量为8，表示类cat总共有8个样本，其中3个分类正确，3个被错误的分到了dog，2个被错误的分到了robbit。

如果计算cat的准确率计算公式如下

参考文献：

1、 李航《统计学习方法》清华大学出版社

2、周志华 《机器学习》 清华大学出版社

3、Confusion matrix

4、sklearn.metrics.confusion\_matrix - scikit-learn 0.20.2 documentation

本文源自贪心学院：苏品毓

转载于:https://juejin.im/post/5caaeee9f265da24d1191537

发表评论取消回复

表情：

评论列表（有 0 条评论，665人围观）

还没有评论，来说两句吧...

相关阅读

相关 11. 机器学习 - 评价指标2

文章目录混淆矩阵 F-score AUC-ROC ![在这里插入图片描述][1d8a70569a2442aeaf81ee

约定不等于承诺〃/ 2024年03月27日 00:16/ 0 赞/ 85 阅读

相关机器学习评价指标

\`机器学习中，模型评估指标是指对于一个模型结果的数据型量化分类算法常见评估指标：对于二类分类器/分类算法，评价指标主要有accuracy， \[Precision，

清疚/ 2023年05月28日 14:15/ 0 赞/ 5 阅读

相关机器学习中，评价指标Top

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3Rl

Love The Way You Lie/ 2022年12月25日 05:00/ 0 赞/ 164 阅读

相关机器学习模型的评价指标和方法

http://[blog.csdn.net/pipisorry/article/details/52574156][blog.csdn.net_pipisorry_articl

向右看齐/ 2022年09月26日 02:43/ 0 赞/ 164 阅读

相关机器学习二分类问题模型效果度量方法

ref [http://blog.csdn.net/ice110956/article/details/20288239][http_blog.csdn.net_ice11

r囧r小猫/ 2022年06月09日 04:11/ 0 赞/ 294 阅读

相关机器学习算法模型评价指标ROC AUC

【导读】在机器学习研究或项目中使用分类精度、均方误差这些方法衡量模型的性能。当然，在进行实验的时候，一种或两种衡量指标并不能说明一个模型的好坏，因此我们需要了解常用的几种机器学

电玩女神/ 2022年05月30日 03:56/ 0 赞/ 269 阅读

相关机器学习（十四）轻松理解模型评价指标

篇首语相信大家都知道下面的图片是啥意思，每个无论在啥公司、无论哪个行业都有自己的KPI评价指标，公司会根据公司情况设定公司战略KPI、部门KPI、以及每个

淩亂°似流年/ 2022年05月22日 23:15/ 0 赞/ 314 阅读

相关机器学习之算法模型评价指标

机器学习评价指标 1、几个概念精确率：Precision——”正确被检索的item(TP)”占所有”实际被检索到的(TP+FP)”的比例召回率：Recall—

落日映苍穹つ/ 2022年05月17日 06:27/ 0 赞/ 268 阅读

相关机器学习-二分类问题常见的评价指标

一、准确率准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。但是准确率在数据不均衡的数据集上会缺少一定的说服力，

﹏ヽ暗。殇╰゛Y/ 2022年01月19日 03:49/ 0 赞/ 666 阅读

相关机器学习评测指标 - 问题思考

这些问题可以思考一下，答案会不断的补充。评测指标有哪些？这主要介绍一些评测指标，我们拿二分类问题来看，二分类问题中主要分为正分类和负分类，那么训练一个模型后，模型的

红太狼/ 2021年10月13日 17:38/ 0 赞/ 337 阅读