我这样说范数和模你应该懂L1、L2正则咋回事了吧

短命女 2022-09-16 11:24 74阅读 0赞

**目录**

向量的范数定义

常用的向量的范数：

L0范数：

L1范数:

L2范数:

Lp范数:

L∞范数:

向量的模

正则化中的L1和L2应用

--------------------

# 向量的范数定义 #

在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。  
范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。

范数在机器学习中通常用于衡量一个向量的大小，形式上， 范数的定义如下：

![20171217191708364][]

其中p >= 1。

# 常用的向量的范数： #

## L0范数： ##

这个有点不好理解，详细说下，上式中当P=0时，也就是L0范数

![a4994b7072d44425b7db89fda5318bfc.jpg][]

还是很不好说明L0的意义，所以在通常情况下，大家都用的是![134704824b5040aeb02f41de2ffa2a9c.png][]

L0范数并不是一个真正的范数，它主要被用来**度量向量中非零元素的个数**。

在实际情况中，**L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。**L0的最优问题会被放宽到L1或L2下的最优化，L1范数和L2范数经常用于机器学习的正则化中。

## L1范数: ##

||x|| 为x向量各个元素绝对值之和，![266210622bb64a2eb6f3e0af9a7620ef.jpg][]，也就是曼哈顿距离。

matlab中的函数norm(x, 1)

## L2范数: ##

||x||为x向量各个元素平方和的1/2次方，![32571fe3d4414b9dad8f4ce20c4ee08b.jpg][]，L2范数又称Euclidean范数或者Frobenius范数，也就是欧式距离。

matlab中的函数norm(x, 2)

## Lp范数: ##

||x||为x向量各个元素绝对值p次方和的1/p次方，![17cd7f28a6bc4a6a86589faacd7c37da.jpg][],也就是闵可夫斯基距离

matlab中的函数norm(x, p)

## L∞范数: ##

||x||为x向量各个元素绝对值最大那个元素的绝对值 ,![Center][],也就是切比雪夫距离

matlab中的函数norm(x, inf)

# 向量的模 #

向量![8bfef45b057f49d299b0e3e65cfcff40.png][]的大小，也就是向量![a85f61b5b8cb474db796fad27846d3a0.png][]的长度（或称模），记作![66a3f20a15354dfc95572295efb3b3c2.png][]。

模是绝对值在二维和三维空间的推广，可以认为就是向量的长度。推广到高维空间中称为[范数][Link 1]。

平面向量(x,y)，其中x,y分别是两个轴上的坐标，模长![900230ec77d64b69b1ea2dab62787950.png][]

空间向量(x,y,z)，其中x,y,z分别是三轴上的坐标，模长是![b9de9e6ecbc644ffba012f3ec661d2f1.png][]

可以看到向量的模和向量的L2范数的计算方式是一样的，都表示的是欧氏距离。

# 正则化中的L1和L2应用 #

正则化是结构风险（损失函数+正则化项）最小化策略的体现，是在经验风险（平均损失函数）上加一个正则化项。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。

防止过拟合的原理：正则化项一般是模型复杂度的单调递增函数，而经验风险负责最小化误差，使模型偏差尽可能小经验风险越小，模型越复杂，正则化项的值越大。要使正则化项也很小，那么模型复杂程度受到限制，因此就能有效地防止过拟合。

![L\_1][L_1]范数正则化 (lasso回归，稀疏规则算子) 损失函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

![L\_2][L_2]范数正则化（Ridge Regression，岭回归） 损失函数

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1][]

L1范数正则化、L2范数正则化都有助于降低过拟合风险，L2范数通过对参数向量各元素平方和求平方根，使得L2范数最小，从而使得参数的各个元素接近0 ，但不等于0。 而L1范数正则化比L2范数更易获得“稀疏”解，即L1范数正则化求得的会有更少的非零分量，所以L1范数可用于特征选择，而L2范数在参数规则化时经常用到（事实上，L0范数得到的“稀疏”解最多，但L0范数是中非零元素的个数，不连续，难以优化求解。因此常用L1范数来近似代替）。

参考：[【机器学习】一文读懂正则化与LASSO回归，Ridge回归\_齐在的专栏-CSDN博客][LASSO_Ridge_-CSDN]

[L1范数与L2范数的区别 - 知乎][L1_L2_ -]

[20171217191708364]: /images/20220828/a4fcd54d4bf840ecafedda07a216bedd.png
[a4994b7072d44425b7db89fda5318bfc.jpg]: /images/20220828/dcbe50c865a7406ca7a453532eb9202c.png
[134704824b5040aeb02f41de2ffa2a9c.png]: /images/20220828/3390249e69744225b28b361d8cc1cd7a.png
[266210622bb64a2eb6f3e0af9a7620ef.jpg]: /images/20220828/e3f240ec548e4b46bd93f212254aa79f.png
[32571fe3d4414b9dad8f4ce20c4ee08b.jpg]: /images/20220828/4972b49d10a2452dbfbe3e21908e067a.png
[17cd7f28a6bc4a6a86589faacd7c37da.jpg]: /images/20220828/c2754a25415e4d01a5913ed45f04ef12.png
[Center]: /images/20220828/d643160764b043f8906862c09e895cf5.png
[8bfef45b057f49d299b0e3e65cfcff40.png]: https://img-blog.csdnimg.cn/8bfef45b057f49d299b0e3e65cfcff40.png
[a85f61b5b8cb474db796fad27846d3a0.png]: https://img-blog.csdnimg.cn/a85f61b5b8cb474db796fad27846d3a0.png
[66a3f20a15354dfc95572295efb3b3c2.png]: /images/20220828/263de505a32e406bbc21841f182be28e.png
[Link 1]: https://baike.baidu.com/item/%E8%8C%83%E6%95%B0
[900230ec77d64b69b1ea2dab62787950.png]: /images/20220828/47a7a26cd5a74140988fad5bce2ff1b1.png
[b9de9e6ecbc644ffba012f3ec661d2f1.png]: /images/20220828/94d5750ce4f64818b18189ad5ad51383.png
[L_1]: https://private.codecogs.com/gif.latex?L_1
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/99ea8caf01314ce5bed35ed9d2b638a7.png
[L_2]: https://private.codecogs.com/gif.latex?L_2
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/df7fc70dd69a4d7f972a936d6667d090.png
[LASSO_Ridge_-CSDN]: https://blog.csdn.net/pxhdky/article/details/82960659
[L1_L2_ -]: https://zhuanlan.zhihu.com/p/28023308