向量范数及正则化方法简介

古城微笑少年丶 2022-03-26 08:08 272阅读 0赞

### 向量范数 ###

在G.H.Golub和C.F.Van\_Loan所著的《矩阵计算》一书中，对向量范数的定义如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1][]

### 正则化 ###

在机器学习中，正则化主要用于解决在训练模型的过程中出现的过拟合问题。常见的正则化方法有两种，即L1正则化和L2正则化。其中L1正则化除了可以抑制过拟合现象，还兼有特征选择和增加模型可解释性的作用；L2正则化除了可以抑制过拟合现象，在某些情况下还同时有助于后续的优化计算。L1正则化和L2正则化又被称为L1范数和L2范数，虽然L1范数和L2范数与向量范数中的1范数和2范数类似，但并不完全相同。下面分别对L1正则化和L2正则化进行简单介绍：

**L1正则化：**

![20190116193748869.PNG][]

其中，C0代表原始的代价函数，后面那一项就是L1正则化项，它表示权重向量![\\omega][omega]中所有元素绝对值的和除以训练集的样本大小，然后乘以正则项系数λ。λ被称为超参(hyper-parameter)，用于平衡模型在训练集上和测试集上的适用性，但一个合适的λ值需要手动调整。关于L1正则化兼有特征选择和增加模型的可解释性的作用，及L2正则化有助于后续的优化计算这两方面的具体内容，可以参考这两篇博文：

[https://blog.csdn.net/jinping\_shi/article/details/52433975][https_blog.csdn.net_jinping_shi_article_details_52433975]、[https://blog.csdn.net/zouxy09/article/details/24971995][https_blog.csdn.net_zouxy09_article_details_24971995]

**L2正则化：**

![20190116193850454.PNG][]

L2正则化即在原始代价函数的基础上L2正则化项，L2正则化项表示权重向量![\\omega][omega]中所有元素的平方和除以两倍训练集的样本大小(除两倍是为了方便后续计算)，然后乘以正则项系数λ，与L1正则化项中的λ相同，L2正则化项中的λ也是用于平衡模型在训练集上和测试集上的适用性。

**正则化为什么可以抑制过拟合现象？**

用下面这张图来说明：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 2][]

上图右半部分中的蓝色曲线是对训练数据的过拟合。假设theta3和theta4远大于theta0和theta1，当我们给原始代价函数加上正则化项后，可以通过调节参数λ的值，使得最后求解出的参数theta3和theta4接近甚至等于0，从而达到抑制过拟合现象的目的。

**补充说明：**出现过拟合现象的时候，拟合函数的系数往往非常大，为什么？答案引自知乎：如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。

![20190116204350459.PNG][]

其他参考：

《矩阵计算》G.H.Golub&C.F.Van\_Loan

Andrew Ng机器学习公开课

[https://blog.csdn.net/u012162613/article/details/44261657][https_blog.csdn.net_u012162613_article_details_44261657]

[https://blog.csdn.net/zouxy09/article/details/24972869][https_blog.csdn.net_zouxy09_article_details_24972869]

[https://towardsdatascience.com/regularization-in-machine-learning-76441ddcf99a][https_towardsdatascience.com_regularization-in-machine-learning-76441ddcf99a]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190116165207763.PNG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1]: /images/20220326/b9bbb0f9b0b64a3092579c591e3e3de3.png
[20190116193748869.PNG]: /images/20220326/5f554d7542a34347a072574ad6c276b5.png
[omega]: https://private.codecogs.com/gif.latex?%5Comega
[https_blog.csdn.net_jinping_shi_article_details_52433975]: https://blog.csdn.net/jinping_shi/article/details/52433975
[https_blog.csdn.net_zouxy09_article_details_24971995]: https://blog.csdn.net/zouxy09/article/details/24971995
[20190116193850454.PNG]: /images/20220326/7190121b4e7f47adb48c9520de0aea2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 2]: /images/20220326/7a01cc2aa6a445b0b1930f6eb12e0a5b.png
[20190116204350459.PNG]: /images/20220326/ed60524b834d45d1a259e717fc340760.png
[https_blog.csdn.net_u012162613_article_details_44261657]: https://blog.csdn.net/u012162613/article/details/44261657
[https_blog.csdn.net_zouxy09_article_details_24972869]: https://blog.csdn.net/zouxy09/article/details/24972869
[https_towardsdatascience.com_regularization-in-machine-learning-76441ddcf99a]: https://towardsdatascience.com/regularization-in-machine-learning-76441ddcf99a