机器学习中的小数学知识

一时失言乱红尘 2021-09-15 18:02 388阅读 0赞

1、[如何通俗易懂地解释「协方差」与「相关系数」的概念][Link 1]：协方差能够表示变量相关性的原因，相关系数可以看成一种剔除了两个变量量纲影响、标准化后的特殊协方差。

2、[置信区间理解][Link 2]：当计算出样本均值时如何基于样本均值确定一个区间，使我们以一定置信水平（概率，如95%）相信真实的总体样本均值包含在在这个置信区间内。

3、[如何通俗并尽可能详细解释卡尔曼滤波？][Link 3]：模型预测分布和实际测量分布的加权平均，不断迭代。

4、[1、L1正则化与L2正则化为什么能够给避免过拟合][1_L1_L2]； [2、l1 相比于 l2 为什么容易获得稀疏解][2_l1 _ l2]：结构风险最小化的一种策略，假设模型参数符合某种先验分布。实践中，根据Quaro的data scientist Xavier Amatriain 的经验，实际应用过程中，L1 nrom几乎没有比L2 norm表现好的时候，优先使用L2 norm是比较好的选择。L2对大数，对outlier更敏感。这个可以从二者的假设分布拉普拉斯分布和高斯分布分布图像中观察到。  
![在这里插入图片描述][70]

5、[浅谈「正定矩阵」和「半正定矩阵」][Link 4]，[请问谁能用易于理解的语言解释下矩阵的正定及半正定？][Link 5]：一个向量经过正定、半正定矩阵的变换后的向量与其本身的夹角小于等于90度。XAX = XY >= 0 (X为任意矩阵，Y为变换后矩阵)。XY=cosθ >= 0为向量内积，表示θ <= 90度。从几何方面理解，可以看成二次函数的高维形式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70]  
如何判断一个矩阵为正定？  
1、顺序主子式全大于0；  
2、存在可逆矩阵C使C^TC等于该矩阵；  
3、正惯性指数等于n；  
4、合同于单位矩阵E（即：规范形为E）  
5、标准形中主对角元素全为正；  
6、特征值全为正；  
7、是某基的度量矩阵。

6、[如何理解机器学习和统计中的AUC？][AUC]，[AUC计算][AUC 1]：从定义方面理解它是FP（假阳率）、TP（真阳率）选择不同阈值画出的ROC曲线的面积；直观点的理解，它表示任取一对正例和负例，其中正例得分大于负例得分的概率，AUC越大，模型效果越好。所以它反映的是一种排序的能力，也就是正例排在负例前面。而且对于类别是否平衡不敏感，可用于评价不平衡数据集。  
**1、称预测类别为1的为Positive（阳性），预测类别为0的为Negative（阴性）。  
2、预测正确的为True（真），预测错误的为False（伪）。**  
混淆矩阵：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 1]  
FP、TP计算：  
![在这里插入图片描述][2018112614213316.png]  
[AUC和PR曲线区别][AUC_PR]：  
\*\*PR曲线的应用场景：\*\*需要根据需求找到对应的precision和recall值。如果偏向precison，那就是在保证recall的情况下提升precision；如果偏向recall，那就是在保证precision的情况下提升recall。比如对于欺诈检测（Fraud Detection），如果要求预测出的潜在欺诈人群尽可能准确，那么就要提高precision；而如果要尽可能多地预测出潜在的欺诈人群，那么就是要提高recall。一般来说，提高二分类模型的分类阈值就能提高precision，降低分类阈值就能提高 recall，这时便可观察PR 曲线，根据自己的需要，找到最优的分类阈值（threshold）。  
\*\*ROC曲线和AUC的应用场景：\*\*在二分类模型中正例和负例同等重要的时候，或者当测试数据中正负样本的分布随时间而变化时，需要比较模型的整体性能，适合用ROC曲线评价。  
**总结一下PR曲线和ROC曲线&AUC的区别：**

1.  PR曲线在正负样本比例比较悬殊时更能反映分类器的性能。当正负样本差距不大的情况下，ROC和PR的趋势是差不多的，但是当负样本很多的时候，两者就截然不同了，ROC效果依然看似很好，但是PR上反映效果一般。这就说明对于类别不平衡问题，ROC曲线通常会给出一个过于乐观的效果估计，此时还是用PR曲线更好。
2.  ROC曲线由于兼顾正例与负例，适用于评估分类器的整体性能（通常是计算AUC，表示模型的排序性能）；PR曲线则完全聚焦于正例，因此如果我们主要关心的是正例，那么用PR曲线比较好。
3.  ROC曲线不会随着类别分布的改变而改变。然而，这一特性在一定程度上也是其缺点。因此需要根据不用的场景进行选择：比如对于欺诈检测，每个月正例和负例的比例可能都不相同，这时候如果只想看一下分类器的整体性能是否稳定，则用ROC曲线比较合适，因为类别分布的改变可能使得PR曲线发生变化，这种时候难以进行模型性能的比较；反之，如果想测试不同的类别分布对分类器性能的影响，则用PR曲线比较合适。

7、[机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？][Bias_Error_Variance]，[理解 Bias 与 Variance 之间的权衡][Bias _ Variance]  
从同一分布中取多个数据集，并分别训练模型，则所有模型预测样本x的值，对所有预测值求均值和方差，也就是Variance。显然Variance刻画的是模型忍受数据扰动的能力。另外样本x有着本身的真实标记，这个标记与前面的均值的方差就是Bias。显然Bias刻画的是模型的拟合能力。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 2]  
但是通常情况下低Bias和低Variance不可同时所得。如左图（横坐标也可理解为训练程度），在模型训练初期，模型拟合能力不足，此时数据的扰动不足以使模型产生变化，也就是高Bias，低Variance；但随着训练的进行，模型的拟合能力加强，此时数据的些许扰动都能被模型学习到，也就是低Bias，高Variance。当模型过度学习时，此时模型连训练数据的局部特性都学习到，出现过拟合情况。如右图，模型在训练集上的error逐渐减小，代表在训练集上的拟合能力增强；但在测试集上的error却在减小后开始增大，代表模型过度拟合训练集，导致在测试集上出现较大error。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 3]  
从上图红色表示真实标记，蓝色分布点表示不同数据集上模型，蓝色分布点越分散，表示Variance越高，模型稳定性不足，；而所有蓝色分布点距离红色越近表示模型的拟合能力越强。  
如何理解K-fold与其关系？当K值大的时候，每个fold数据集样本数量少，模型训练不足，拟合能力差， 我们会有更少的Bias(偏差), 更多的Variance。当K值小的时候，样本较多，模型拟合能力强，我们会有更多的Bias(偏差),更少的Variance。

8、决策树离散特征该如何处理：[关于sklearn中的决策树是否应该用one-hot编码？][sklearn_one-hot]，[Decision Trees][]，[机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？][GBDT _ XGBOOST][GBDT和XGboost介绍][GBDT_XGboost][结合原PPT理解][PPT]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 4]

9、数据处理过程中的平滑：[为何要进行数据平滑处理？][Link 6]，[n-gram文法和数据平滑][n-gram]，[NLP系列学习:数据平滑][NLP]数据平滑更多的是将一个取值范围很大的数值压缩到一个较小的区域，方便模型的学习，模型也更容易调整到对应的数值，这跟归一化的作用有点类似。比如本来范围0-10000，模型为了预测到10000，就得需要很大的参数，但同时又得预测到0，又需要很小的参数。但如果我们将0-10000压缩到0-1，那么模型只需要很小的调整就能从0到1。NLP领域的平滑更多是为了解决0概率问题。

10、[傅里叶分析之掐死教程][Link 7]、[傅里叶变换][Link 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 6]  
11、泰勒公式：[如何通俗地解释泰勒公式？][Link 9][使用泰勒公式进行估算时，在不同点有啥区别？][Link 10]  
![在这里插入图片描述][20190307174653521.png]  
12、[举例说明极大似然与EM算法区别][EM]；  
[EM算法存在的意义是什么？][EM 1] ；[EM（ expectation-maximization，期望最大化）算法][EM_ expectation-maximization]  
13、[详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解][MLE_MAP]  
14、[最大公约数、最小公倍数][Link 11]，[质数求解][Link 12]  
15、[拉格朗日乘数法][Link 13]  
16、检索评估指标：[MAP][] [NDCG][]

[Link 1]: https://www.zhihu.com/question/20852004
[Link 2]: https://www.zhihu.com/search?type=content&q=%E7%BD%AE%E4%BF%A1%E5%8C%BA%E9%97%B4
[Link 3]: https://www.zhihu.com/question/23971601
[1_L1_L2]: https://zhuanlan.zhihu.com/p/35356992
[2_l1 _ l2]: https://www.zhihu.com/question/37096933/answer/70426653
[70]: /images/20210520/28ba0dc8a9c74bd7a44d651b9f14e51b.png
[Link 4]: https://zhuanlan.zhihu.com/p/44860862
[Link 5]: https://www.zhihu.com/question/22098422/answer/35874276
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70]: /images/20210520/58e13766171c4ce694c5a6cbfc9deae4.png
[AUC]: https://www.zhihu.com/question/39840928?from=profile_question_card
[AUC 1]: https://blog.csdn.net/qq_22238533/article/details/78666436
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 1]: /images/20210520/904b8dd6d81f4de596f8bbd3bab8b440.png
[2018112614213316.png]: /images/20210520/991b6cf60029499f91362d4791feec93.png
[AUC_PR]: https://www.e-learn.cn/content/qita/2520407
[Bias_Error_Variance]: https://www.zhihu.com/question/27068705
[Bias _ Variance]: https://www.cnblogs.com/ooon/p/5711516.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 2]: /images/20210520/2c166bed58bc4e4c8b50a48320d829d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 3]: /images/20210520/0dd1b179f9c34ce982b56356f0e13124.png
[sklearn_one-hot]: https://www.zhihu.com/question/266195966/answer/306104444
[Decision Trees]: https://scikit-learn.org/stable/modules/tree.html
[GBDT _ XGBOOST]: https://www.zhihu.com/question/41354392
[GBDT_XGboost]: https://blog.csdn.net/legendavid/article/details/78904353
[PPT]: https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 4]: /images/20210520/40298d6bc8974bd0834763ef15077741.png
[Link 6]: https://www.zhihu.com/question/68747332
[n-gram]: https://zhuanlan.zhihu.com/p/29736055
[NLP]: https://zhuanlan.zhihu.com/p/30968051
[Link 7]: https://zhuanlan.zhihu.com/p/19763358
[Link 8]: https://www.zhihu.com/search?type=content&q=%E5%82%85%E9%87%8C%E5%8F%B6%E5%8F%98%E6%8D%A2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 5]: /images/20210520/0ccd2ad6fa9e4c25bd396180f71ed0ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz_size_16_color_FFFFFF_t_70 6]: /images/20210520/d2fdf2f4366245a2af14aa6bd5b6cf96.png
[Link 9]: https://www.matongxue.com/madocs/7.html
[Link 10]: https://www.matongxue.com/madocs/206.html
[20190307174653521.png]: /images/20210520/9cacdfed96d64fe58781a75aadcf6e38.png
[EM]: https://zhuanlan.zhihu.com/p/36331115
[EM 1]: https://www.zhihu.com/question/40797593/answer/275171156
[EM_ expectation-maximization]: http://www.tensorinfinity.com/upload/files/20190115/1547523253644839.pdf
[MLE_MAP]: https://blog.csdn.net/u011508640/article/details/72815981
[Link 11]: https://zhuanlan.zhihu.com/p/55781568
[Link 12]: https://www.zhihu.com/question/308322307
[Link 13]: https://www.cnblogs.com/maybe2030/p/4946256.html#top
[MAP]: https://zhuanlan.zhihu.com/p/35983818
[NDCG]: https://blog.csdn.net/fly_time2012/article/details/89227420