机器学习与数据挖掘-作业二-第二章模型评估与选择

悠悠 2023-10-11 18:41 7阅读 0赞

> 1、以二分类任务为例，假定数据集D包含1000个样本，将其划分为训练集S和测试集T，其中S包含800个样本， T包含200个样本，用S进行训练后，如果模型在T上有50个样本分类错误，那么模型的正确率为\_\_\_\_\_75%\_\_\_\_\_\_\_。
> 
> 2、PR（Precision-Recall）曲线的横轴和纵轴分别是\_\_\_\_\_查全率\_\_\_\_\_\_和\_\_\_\_\_查准率\_\_\_\_\_\_\_。
> 
> 3、ROC曲线的横轴和纵轴分别是\_\_\_\_\_\_假正例率\_\_\_\_\_和\_\_\_\_\_真正例率\_\_\_\_\_。
> 
> 4、对于二分类问题，可将样本根据其真实类别与学习器预测类别的组合划分为真正例（true positive，TP）、假正例（false positive，FP）、真反例（true negative，TN）和假反例（false negative，FN）四种情形，请画出分类结果的混淆矩阵。
> 
> ![8a5e01f5ccf4439da1e3cda49e12593d.png][]
> 
> 5、F1度量是综合考虑了查准率和查全率的性能度量指标，请写出其公式。
> 
> ![mirco-F1=\\frac\{(2\*micro-P\*micro-R)\}\{(micro-P+micro-R)\}][mirco-F1_frac_2_micro-P_micro-R_micro-P_micro-R]
> 
> 6、有多种因素可能导致过拟合，其中最常见的情况是由于\_\_\_\_\_\_\_\_学习能力过于强大\_\_\_\_\_\_\_\_\_\_\_，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于\_\_\_\_\_\_\_\_\_\_学习能力低下\_\_\_\_\_\_\_\_\_\_\_\_而造成的。
> 
> 7、查准率和查全率是分类任务中常用的性能度量指标，请写出其公式并对这两种指标进行分析。
> 
> ![66ff709711d84ec79e8ff300443fc376.png][]
> 
> 查准率和查全率是一对矛盾的度量，一般来说，查准率高时，查全率往往偏低，而查全率高时，查准率往往偏低。
> 
> 8. 简述*k*![5205aae126864a3f98149b124dd300e0.png][]折交叉验证法。
> 
> 答：“”交叉验证法”先将数据集划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性，即从数据集中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得k组训练集/测试集，从而可以进行k次训练和测试，最终返回的是这k个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值，为强调这一点，通常把交叉验证法称为“k折交叉验证”。
> 
> 9、分析偏差和方差的含义。
> 
> 答：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。
> 
> 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。
> 
> 10、对于一个三分类问题，数据集的真实标签和模型预测标签如下：
> 
> <table> 
> <tbody> 
> <tr> 
> <td style="border-color:#000000;vertical-align:top;width:61.6pt;"> 真实标签 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 1 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 1 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 2 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 2 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 2 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 3 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 3 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 3 </td> 
> <td style="border-color:#000000;vertical-align:top;width:1cm;"> 3 </td> 
> </tr> 
> <tr> 
> <td style="border-color:#000000;vertical-align:top;width:61.6pt;"> 预测标签 </td> 
> <td style="vertical-align:top;width:1cm;"> 1 </td> 
> <td style="vertical-align:top;width:1cm;"> 2 </td> 
> <td style="vertical-align:top;width:1cm;"> 2 </td> 
> <td style="vertical-align:top;width:1cm;"> 2 </td> 
> <td style="vertical-align:top;width:1cm;"> 3 </td> 
> <td style="vertical-align:top;width:1cm;"> 3 </td> 
> <td style="vertical-align:top;width:1cm;"> 3 </td> 
> <td style="vertical-align:top;width:1cm;"> 1 </td> 
> <td style="vertical-align:top;width:1cm;"> 2 </td> 
> </tr> 
> </tbody> 
> </table>
> 
> 分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。
> 
> 答：
> 
> ![26f53c58188a47879526a5c88ebc3826.png][]

[8a5e01f5ccf4439da1e3cda49e12593d.png]: https://img-blog.csdnimg.cn/8a5e01f5ccf4439da1e3cda49e12593d.png
[mirco-F1_frac_2_micro-P_micro-R_micro-P_micro-R]: https://latex.csdn.net/eq?mirco-F1%3D%5Cfrac%7B%282*micro-P*micro-R%29%7D%7B%28micro-P&plus;micro-R%29%7D
[66ff709711d84ec79e8ff300443fc376.png]: https://img-blog.csdnimg.cn/66ff709711d84ec79e8ff300443fc376.png
[5205aae126864a3f98149b124dd300e0.png]: https://img-blog.csdnimg.cn/5205aae126864a3f98149b124dd300e0.png
[26f53c58188a47879526a5c88ebc3826.png]: https://img-blog.csdnimg.cn/26f53c58188a47879526a5c88ebc3826.png