机器学习二分类问题模型效果度量方法

r囧r小猫 2022-06-09 04:11 256阅读 0赞

ref  
[http://blog.csdn.net/ice110956/article/details/20288239][http_blog.csdn.net_ice110956_article_details_20288239]  
[http://www.cnblogs.com/Allen-rg/p/5821949.html][http_www.cnblogs.com_Allen-rg_p_5821949.html]  
[http://blog.csdn.net/taoyanqi8932/article/details/54409314][http_blog.csdn.net_taoyanqi8932_article_details_54409314]  
[https://www.zhihu.com/question/30643044/answer/48955833][https_www.zhihu.com_question_30643044_answer_48955833]  
[http://blog.csdn.net/login\_sonata/article/details/54288653][http_blog.csdn.net_login_sonata_article_details_54288653]

主要有以下几种度量方法：  
Accuracy、Error Rate、Precision（精确率）、Recall（召回率）、F-measure（调和均值）、ROC（受试者工作特征曲线(receiver operating characteristic curve)）、Precision-Recall curve、AUC（AreaUnderCurve，曲线下的面积）…………………

不同的任务需求会采用不同的度量方法，从而导致不同的评判结果，这意味着模型的好坏事相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务的需求。

**1.Accuracy和Error Rate**  
Accuracy：准确度、Error Rate：错误率  
它们的定义如下：  
![这里写图片描述][SouthEast]

这两种度量方法很直观明了，但是有时并不能满足任务的要求，其准确度将每个类看得同等的重要，因此它可能不适合用来分析不平衡的数据集，即正类样本远远小于负类的样本。

比如1000个样本中有990个负样本，10个正样本；有一个分类器把所有的正样本判成负样本，此时该分类器的accuracy=99%。但这显然是没有意义的，因为我们关心的是正样本。

**2.confusion matrix混淆矩阵**  
对于二分类问题，关于两类分类问题,原始类为p,n，分类后的类别为Y,N。排列组合后得到4种结果，定义混淆矩阵如下：  
![这里写图片描述][SouthEast 1]

其中：  
（1）precision：准确率，查准率)  
（2）recall：召回率，查全率)  
（3）TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。  
（4）FPR：在所有实际为阴性的样本中，被错误地判断为阳性之比率。可看出，FPR=recall

（5）F-measure  
![这里写图片描述][SouthEast 2]  
当β=1，成为F1值（上图中的就是F1值）  
β>1，recall有更大影响  
β<1，precision有更大影响

**3.ROC曲线、PR曲线、Auc**   
对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如对数几率回归（Logistic Regression，LR）,得到诸如0.5,0.6,0,8这样的分类结果。这时,我们人为取一个阈值（threshold）,比如0.7,那么小于0.7的为0类,大于等于0.7的为1类,可以得到一个分类结果。同样,这个阈值我们还可以取0.5,0.6等等。取不同的阈值,得到的最后的分类情况也就不同。

阈值不同,可以得到不同的结果。这时候就需要一个独立于阈值，只与分类器有关的评价指标，来衡量特定分类器的好坏。  
于是就有了ROC曲线。

以FPR为横轴,TPR为纵轴,得到如下**ROC曲线**。

对于每一个阈值,得到一个点（FPR，TPR）。也就是遍历所有的阈值,得到ROC曲线。  
![这里写图片描述][SouthEast 3]  
而且一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting

**AUC（Area Under Curve）**被定义为曲线下的面积。

在医学诊断中，假设有病为正样本。  
那么尽量把有病的揪出来是主要任务,也就是第一个指标TPR,要越高越好。  
而把没病的样本误诊为有病的,也就是第二个指标FPR,要越低越好。

不难发现,这两个指标之间是相互制约的。如果某个医生对于有病的症状比较敏感,稍微的小症状都判断为有病,那么他的第一个指标应该会很高,但是第二个指标也就相应地变高。最极端的情况下,他把所有的样本都看做有病,那么第一个指标达到1,第二个指标也为1。

![这里写图片描述][SouthEast 4]

在上图中，我们可以看出,左上角的点(TPR=1,FPR=0),为完美分类,也就是这个医生医术高明,诊断全对。

点A(TPR>FPR),医生A的判断大体是正确的。中线上的点B(TPR=FPR),也就是医生B全都是蒙的,蒙对一半,蒙错一半;下半平面的点C(TPR＜FPR),这个医生说你有病,那么你很可能没有病,医生C的话我们要反着听,为真庸医。

**PR曲线（Precision-Recall曲线）**，也是对阈值threshold进行遍历，这样也得到 了不同的precision和recall的点。  
当正负类样本差数量距很大时，ROC的就不能很好的反应分类器的真实性能了，这时候PR将是更好的选择。假设负类的数量远大于正类，当FP的数量有比较大的变化时，FP\_rate= FP / N 因为N很大，所以FP\_rate不会有很大变化。但是PR=TP /TP +FP ,它可以捕获到这个差异，所以效果会更好。  
Precision和Recall成负相关  
![这里写图片描述][SouthEast 5]

下面节选自：[What is the difference between a ROC curve and a precision-recall curve? When should I use each?][What is the difference between a ROC curve and a precision-recall curve_ When should I use each]

Particularly, if true negative is not much valuable to the problem, or negative examples are abundant. Then, PR-curve is typically more appropriate. For example, if the class is highly imbalanced and positive samples are very rare, then use PR-curve. One example may be fraud detection, where non-fraud sample may be 10000 and fraud sample may be below 100.  
In other cases, ROC curve will be more helpful.

其说明，如果是不平衡类，正样本的数目非常的稀有，而且很重要，比如说在诈骗交易的检测中，大部分的交易都是正常的，但是少量的非正常交易确很重要。

Let’s take an example of fraud detection problem where there are 100 frauds out of 2 million samples.  
Algorithm 1: 90 relevant out of 100 identified  
Algorithm 2: 90 relevant out of 1000 identified

Evidently, algorithm 1 is more preferable because it identified less number of false positive.  
In the context of ROC curve,  
Algorithm 1: TPR=90/100=0.9, FPR= 10/1,999,900=0.00000500025  
Algorithm 2: TPR=90/100=0.9, FPR=910/1,999,900=0.00045502275  
The FPR difference is 0.0004500225

For PR, Curve  
Algorithm 1: precision=0.9, recall=0.9  
Algorithm 2: Precision=90/1000=0.09, recall= 0.9  
Precision difference= 0.81

可以看到在正样本非常少的情况下，PR表现的效果会更好。

[http_blog.csdn.net_ice110956_article_details_20288239]: http://blog.csdn.net/ice110956/article/details/20288239
[http_www.cnblogs.com_Allen-rg_p_5821949.html]: http://www.cnblogs.com/Allen-rg/p/5821949.html
[http_blog.csdn.net_taoyanqi8932_article_details_54409314]: http://blog.csdn.net/taoyanqi8932/article/details/54409314
[https_www.zhihu.com_question_30643044_answer_48955833]: https://www.zhihu.com/question/30643044/answer/48955833
[http_blog.csdn.net_login_sonata_article_details_54288653]: http://blog.csdn.net/login_sonata/article/details/54288653
[SouthEast]: /images/20220609/609af016489148bea5bddc26ff1e54ea.png
[SouthEast 1]: /images/20220609/691222072f63454ebf28a6b22a4b1635.png
[SouthEast 2]: /images/20220609/3c492f8392b34925b96cafa7d6acc1a1.png
[SouthEast 3]: /images/20220609/bf4515c355cd493bb38f062ceedb488a.png
[SouthEast 4]: /images/20220609/99b5118cc00d4a2ca39229c695df707d.png
[SouthEast 5]: /images/20220609/5fd11554dbed4fdaab2fc8970a1bd7f9.png
[What is the difference between a ROC curve and a precision-recall curve_ When should I use each]: https://www.quora.com/What-is-the-difference-between-a-ROC-curve-and-a-precision-recall-curve-When-should-I-use-each