准确率、精确率、召回率、f1、ROC曲线

水深无声 2022-02-04 12:13 541阅读 0赞

### 准确率、精确率、召回率、f1曲线、ROC曲线 ###

*   *   *  T(True)、F(False)、P(Positive)、N(Negative)
         *  一、准确率
         *  二、精确率（查准率）
         *  三、召回率（查全率）
         *  四、f1分数
         *  五、ROC曲线
         *  几种指标的区别：
         *  案例

### T(True)、F(False)、P(Positive)、N(Negative) ###

![在这里插入图片描述][20190507174431626.png]

### 一、准确率 ###

acc = （TP+TN)/(TP+TN+FP+FN)，预测正确的结果占总样本的百分比。

### 二、精确率（查准率） ###

pre = TP/(TP+FP),在被所有**预测为正**的样本中实际为正样本的概率。  
（所有被认为的正例中预测正确率）

精确率代表对正样本结果中的预测准确程度，准确率代表对整体的预测程度。

### 三、召回率（查全率） ###

recall = TP/(TP+FN),在实际为正的样本中被预测为正样本的概率。  
(所有正例中预测正确的)  
例子：假设共10篇文章，4篇是你要找的，根据算法模型，你找到5篇，其中3篇是你要找的。  
精确率 = 3/5=60%,召回率 = 3/4=75%

### 四、f1分数 ###

精确率、召回率无法做到双高，f1分数同时考虑精确率和准确率，让两者同时达到最高取得平衡。  
f1=2*精确率*召回率/(精确率+召回率)

### 五、ROC曲线 ###

真正率TPR=TP/(TP+FN),在所有实际为阴性样本中，被错误判断为阳性之比率。  
假正率FPR=FP/(FP+TN),在所有实际为阳性样本中，被正确判断为阳性之比率。

AUC表示ROC中曲线下的面积，用于判断模型的优劣。如ROC曲线，连接对角线的面积刚好是0.5，对角线的含义是随机判断预测结果。AUC的值介于0.5-1之间。

*  0.5-0.7：效果较低
 *  0.7-0.85：效果一般
 *  0.85-0.95：效果很好
 *  0.95-1：效果非常好

### 几种指标的区别： ###

1、当样本不平衡时，准确率没有评价意义。  
2、精确率和召回率是相互制约的，不可能双高。根据不同的业务场景选择不同的重点。

*  在商品推荐系统中，为了尽可能少打扰客户，更希望推荐内容确是用户感兴趣的，此时查准率更重要。
 *  在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，此时查全率更重要。

3、AUC是ROC曲线的量化指标，AUC/ROC是最常用的一种评价指标，因其不受正负样本比例的影响。

### 案例 ###

我们的任务是为 100 名病人诊断一种在普通人群中患病率是 50% 的疾病。我们将假设一个黑盒模型，我们输入关于患者的信息，并得到 0 到 1 之间的分数。我们可以改变将患者标记为正例 (有疾病) 的阈值，以最大化分类器性能。我们将以 0.1 为增量从 0.0 到 1.0 评估阈值，在每个步骤中计算 ROC 曲线上的精度、召回率、F1 score 以及在 ROC 曲线上的位置。以下是每个阈值的分类结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]

参考：  
[https://www.jianshu.com/p/1afbda3a04ab][https_www.jianshu.com_p_1afbda3a04ab]  
[https://blog.csdn.net/XiaoYi\_Eric/article/details/86726284][https_blog.csdn.net_XiaoYi_Eric_article_details_86726284]  
周志华\_机器学习

[20190507174431626.png]: /images/20220204/441b74b142454b06b09e2df957b5fa56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]: /images/20220204/0520149a8ecd4ea79514a132d5fcc845.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]: /images/20220204/9b431eae9c534b4ba2fb1614b0c23c7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]: /images/20220204/0f901e26a8984c9bba040a4302aa49a9.png
[https_www.jianshu.com_p_1afbda3a04ab]: https://www.jianshu.com/p/1afbda3a04ab
[https_blog.csdn.net_XiaoYi_Eric_article_details_86726284]: https://blog.csdn.net/XiaoYi_Eric/article/details/86726284