机器学习中的F1-score

- 日理万妓 2022-05-12 01:16 160阅读 0赞

## 一、什么是F1-score ##

F1分数（F1-score）是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0。

![F\_\{1\}=2\\cdot \\frac\{precision\\cdot recall\}\{precision+recall\}][F_1_2_cdot _frac_precision_cdot recall_precision_recall]

此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同等重要，F2分数认为召回率的重要程度是精确率的2倍，而F0.5分数认为召回率的重要程度是精确率的一半。计算公式为：

![F\_\{\\beta \}=\\left (1+\\beta ^\{2\} \\right )\\cdot \\frac\{precision\\cdot recall\}\{\\left (\\beta ^\{2\}\\cdot precision \\right )+recall\}][F_beta _left _1_beta _2_ _right _cdot _frac_precision_cdot recall_left _beta _2_cdot precision _right _recall]

G分数是另一种统一精确率和的召回率系统性能评估标准，G分数被定义为召回率和精确率的几何平均数。

![G=\\sqrt\{precision\\cdot recall\}][G_sqrt_precision_cdot recall]

--------------------

## 二、计算过程 ##

1.首先定义以下几个概念：

**TP**（True Positive）：预测答案正确

**FP**（False Positive）：错将其他类预测为本类

**FN**（False Negative）：本类标签预测为其他类标

2. 通过第一步的统计值计算每个类别下的precision和recall

**精准度 / 查准率**(precision)：指被分类器判定正例中的正样本的比重

![precision\_\{k\}=\\frac\{TP\}\{TP+FP\}][precision_k_frac_TP_TP_FP]

**召回率 / 查全率 **(recall)：指的是被预测为正例的占总的正例的比重

![recall\_\{k\}=\\frac\{TP\}\{TP+FN\}][recall_k_frac_TP_TP_FN]

另外，介绍一下常用的准确率(accuracy)的概念，代表分类器对整个样本判断正确的比重。

![accuracy=\\frac\{TP+TN\}\{TP+TN+FP+FN\}][accuracy_frac_TP_TN_TP_TN_FP_FN]

3.通过第二步计算结果计算每个类别下的f1-score，计算方式如下：

![f1\_\{k\}=\\frac\{2\\cdot precision\_\{k\}\\cdot recall\_\{k\} \}\{precision\_\{k\}+recall\_\{k\}\}][f1_k_frac_2_cdot precision_k_cdot recall_k_ _precision_k_recall_k]

4. 通过对第三步求得的各个类别下的F1-score求均值，得到最后的评测结果，计算方式如下：

![score=(\\frac\{1\}\{n\}\\sum f1\_\{k\})^\{2\}][score_frac_1_n_sum f1_k_2]

--------------------

## 三、python实现 ##

可通过加载sklearn包，方便的使用f1\_score函数。

**函数原型：**

sklearn.metrics.f1\_score(y\_true, y\_pred, labels=None, pos\_label=1, average=’binary’, sample\_weight=None)

**参数：**

**y\_true** : 1d array-like, or label indicator array / sparse matrix.

目标的真实类别。

**y\_pred** : 1d array-like, or label indicator array / sparse matrix.

分类器预测得到的类别。

**average** : string,\[None, ‘binary’(default), ‘micro’, ‘macro’, ‘samples’, ‘weighted’\]

这里需要注意，如果是二分类问题则选择参数‘binary’；如果考虑类别的不平衡性，需要计算类别的加权平均，则使用‘weighted’；如果不考虑类别的不平衡性，计算宏平均，则使用‘macro’。

**示例程序：**

from sklearn.metrics import f1_score
    
    y_pred = [0, 1, 1, 1, 2, 2]
    y_true = [0, 1, 0, 2, 1, 1]
    
    print(f1_score(y_true, y_pred, average='macro'))  
    print(f1_score(y_true, y_pred, average='weighted'))

分析上述代码，

对于类0：TP=1，FP=0，FN=1，precision=1，recall=1/2，F1-score=2/3，Weights=1/3

对于类1：TP=1，FP=2，FN=2，precision=1/3，recall=1/3，F1-score=1/3，Weights=1/2

对于类2：TP=0，FP=2，FN=1，precision=0，recall=0，F1-score=0，Weights=1/6

宏平均分数为：0.333；加权平均分数为：0.389

[F_1_2_cdot _frac_precision_cdot recall_precision_recall]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20F_%7B1%7D%3D2%5Ccdot%20%5Cfrac%7Bprecision%5Ccdot%20recall%7D%7Bprecision&plus;recall%7D
[F_beta _left _1_beta _2_ _right _cdot _frac_precision_cdot recall_left _beta _2_cdot precision _right _recall]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20F_%7B%5Cbeta%20%7D%3D%5Cleft%20%281&plus;%5Cbeta%20%5E%7B2%7D%20%5Cright%20%29%5Ccdot%20%5Cfrac%7Bprecision%5Ccdot%20recall%7D%7B%5Cleft%20%28%5Cbeta%20%5E%7B2%7D%5Ccdot%20precision%20%5Cright%20%29&plus;recall%7D
[G_sqrt_precision_cdot recall]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20G%3D%5Csqrt%7Bprecision%5Ccdot%20recall%7D
[precision_k_frac_TP_TP_FP]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20precision_%7Bk%7D%3D%5Cfrac%7BTP%7D%7BTP&plus;FP%7D
[recall_k_frac_TP_TP_FN]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20recall_%7Bk%7D%3D%5Cfrac%7BTP%7D%7BTP&plus;FN%7D
[accuracy_frac_TP_TN_TP_TN_FP_FN]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20accuracy%3D%5Cfrac%7BTP&plus;TN%7D%7BTP&plus;TN&plus;FP&plus;FN%7D
[f1_k_frac_2_cdot precision_k_cdot recall_k_ _precision_k_recall_k]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20f1_%7Bk%7D%3D%5Cfrac%7B2%5Ccdot%20precision_%7Bk%7D%5Ccdot%20recall_%7Bk%7D%20%7D%7Bprecision_%7Bk%7D&plus;recall_%7Bk%7D%7D
[score_frac_1_n_sum f1_k_2]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20score%3D%28%5Cfrac%7B1%7D%7Bn%7D%5Csum%20f1_%7Bk%7D%29%5E%7B2%7D