[转] L1 && L2范数

ゝ一世哀愁。 2022-01-05 05:39 308阅读 0赞

作者：Andy Yang  
链接：https://www.zhihu.com/question/26485586/answer/616029832  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

### **理解L1，L2 范数** ###

L1，L2 范数即 **L1-norm** 和 **L2-norm**，自然，有L1、L2便也有L0、L3等等。因为在机器学习领域，L1 和 L2 范数应用比较多，比如作为正则项在回归中的使用 *Lasso Regression*(L1) 和 *Ridge Regression*(L2)。

因此，此两者的辨析也总被提及，或是考到。不过在说明两者定义和区别前，先来谈谈什么是范数（Norm）吧。

### **什么是范数？** ###

在线性代数以及一些数学领域中，norm 的定义是

> a function that assigns a strictly positive length or size to each vector in a vector space， except for the zero vector. ——Wikipedia

简单点说，一个向量的 norm 就是将该向量**投影到 \[0, ) 范围内的值**，其中 0 值只有零向量的 norm 取到。看到这样的一个范围，相信大家就能想到其与现实中距离的类比，于是在机器学习中 norm 也就总被拿来**表示距离关系**：根据怎样怎样的范数，这两个向量有多远。

上面这个怎样怎样也就是范数种类，通常我们称为p-norm，严格定义是：

![v2-21c3e9c1972631e78330f27f1ac1ac8b\_hd.jpg][v2-21c3e9c1972631e78330f27f1ac1ac8b_hd.jpg] ![v2-21c3e9c1972631e78330f27f1ac1ac8b_hd.jpg 1][]

其中当 p 取 1 时被称为 1-norm，也就是提到的 **L1-norm**，同理 **L2-norm** 可得。

### **L1 和 L2 范数的定义** ###

根据上述公式 L1-norm 和 L2-norm 的定义也就自然而然得到了。

先将 p=1 代入公式，就有了 L1-norm 的定义：

![v2-cec18f20eab9513cbfc06e1cee9f5fd1\_hd.jpg][v2-cec18f20eab9513cbfc06e1cee9f5fd1_hd.jpg] ![v2-cec18f20eab9513cbfc06e1cee9f5fd1_hd.jpg 1][]

然后代入 p=2，L2-norm 也有了：

![v2-9f25240cdcb22f6dbc588004c8de1b4a\_hd.jpg][v2-9f25240cdcb22f6dbc588004c8de1b4a_hd.jpg] ![v2-9f25240cdcb22f6dbc588004c8de1b4a_hd.jpg 1][]

L2 展开就是熟悉的欧几里得范数：

![v2-719517542906dea80a8bed94cfd4318e\_hd.jpg][v2-719517542906dea80a8bed94cfd4318e_hd.jpg] ![v2-719517542906dea80a8bed94cfd4318e_hd.jpg 1][]

题外话，其中 L1-norm 又叫做 taxicab-norm 或者 Manhattan-norm，可能最早提出的大神直接用在曼哈顿区坐出租车来做比喻吧。下图中绿线是两个黑点的 L2 距离，而其他几根就是 taxicab 也就是 L1 距离，确实很像我们平时用地图时走的路线了。

![v2-f98502d6681a040760464cbe276cce8d\_hd.jpg][v2-f98502d6681a040760464cbe276cce8d_hd.jpg] ![v2-f98502d6681a040760464cbe276cce8d_hd.jpg 1][]

L1 和 L2 范数在机器学习上最主要的应用大概分下面两类

*  作为**损失函数**使用
 *  作为**正则项**使用也即所谓 **L1-regularization** 和 **L2-regularization**

### **我们可以担当损失函数** ###

先来看个回归问题

![v2-3ddfc7ea94a81c6992028b9b3026e9f3\_hd.jpg][v2-3ddfc7ea94a81c6992028b9b3026e9f3_hd.jpg] ![v2-3ddfc7ea94a81c6992028b9b3026e9f3_hd.jpg 1][]

我们需要做的是，获得一条线，让数据点到线上的总距离（也就是error）最小。

还记得之前在范数介绍中提到的用来表示距离吗，于是也可以用能表示距离的 L1-norm 和 L2-norm 来作为损失函数了。

首先是 L1-norm 损失函数，又被称为 **least absolute deviation (LAD，最小绝对偏差)**

![v2-385e738fa75411a9150a289a30662d98\_hd.jpg][v2-385e738fa75411a9150a289a30662d98_hd.jpg] ![v2-385e738fa75411a9150a289a30662d98_hd.jpg 1][]

如果我们最小化上面的损失函数，其实就是在最小化预测值 和目标值 的绝对值。

之后是大家最熟悉的 L2-norm 损失函数，又有大名**最小二乘误差 (least squares error, LSE)**:

![v2-786e7280c82044198c3821849dc105c5\_hd.jpg][v2-786e7280c82044198c3821849dc105c5_hd.jpg] ![v2-786e7280c82044198c3821849dc105c5_hd.jpg 1][]

这个便不多解释了。

那么问题来了，这里不谈挖掘机，为什么大家一般都用 L2 损失函数，却不用 L1 呢？

这个就说来话长了，如果你问一个学习过微积分的同学，如何求一个方程的最小值，他/她大概会想当然的说：“求导，置零，解方程。” 号称微积分届的农夫三拳。

但如果给出一个绝对值的方程，突然就会发现农夫三拳不管用了，求最小值就有点麻烦了。主要是因为绝对值的倒数是不连续的。

同样的对于 L1 和 L2 损失函数的选择，也会碰到同样的问题，所以最后大家一般用 L2 损失函数而不用 L1 损失函数的原因就是：

**因为计算方便！**

可以直接求导获得取最小值时各个参数的取值。

此外还有一点，**用 L2 一定只有一条最好的预测线，L1 则因为其性质可能存在多个最优解**。（更多关于L1 L2 损失函数参考索引5）

当然 L1 损失函数难道就没有什么好处了吗，也是有的，那就是**鲁棒性 (Robust) 更强，对异常值更不敏感**。

### **我们还能担当正则项** ###

因为机器学习中众所周知的过拟合问题，所以用正则化防止过拟合，成了机器学习中一个非常重要的技巧。

但数学上来讲，其实就是在损失函数中加个**正则项（Regularization Term）**，来防止参数拟合得过好。

L1-regularization 和 L2-regularization 便都是我们常用的正则项，两者公式的例子分别如下

![v2-81dd2e4621f822929ccd321dfa4ca413\_hd.jpg][v2-81dd2e4621f822929ccd321dfa4ca413_hd.jpg] ![v2-81dd2e4621f822929ccd321dfa4ca413_hd.jpg 1][]

![v2-dd562d85f0bd2550ac04b9daa4762969\_hd.jpg][v2-dd562d85f0bd2550ac04b9daa4762969_hd.jpg] ![v2-dd562d85f0bd2550ac04b9daa4762969_hd.jpg 1][]

这两个正则项最主要的不同，包括两点：

*  如上面提到的，**L2 计算起来更方便**，而 L1 在特别是非稀疏向量上的计算效率就很低；
 *  还有就是 L1 最重要的一个特点，**输出稀疏**，会把不重要的特征直接置零，而 L2 则不会；
 *  最后，如之前多次提过，L2 有唯一解，而 L1 不是。

这里关于第二条输出稀疏我想再进行一些详细讲解，因为 L1 天然的输出稀疏性，把不重要的特征都置为 0，所以它也是**一个天然的特征选择器**。

可是为什么 L1 会有这样的性质呢，而 L2 没有呢？这里用个直观的例子来讲解。

来一步一步看吧，首先获知用梯度下降法来优化时，需要求导获得梯度，然后用以更新参数。

![v2-949bffa97f4541c5926434ca493cdea5\_hd.jpg][v2-949bffa97f4541c5926434ca493cdea5_hd.jpg] ![v2-949bffa97f4541c5926434ca493cdea5_hd.jpg 1][]

于是分别先对 L1 正则项和 L2 正则项来进行求导，可得。

![v2-724ff11590c2fee9fdece95dad8f5346\_hd.jpg][v2-724ff11590c2fee9fdece95dad8f5346_hd.jpg] ![v2-724ff11590c2fee9fdece95dad8f5346_hd.jpg 1][]

![v2-4c423dee6740fec107d2cf5e101b09c3\_hd.jpg][v2-4c423dee6740fec107d2cf5e101b09c3_hd.jpg] ![v2-4c423dee6740fec107d2cf5e101b09c3_hd.jpg 1][]

之后将 L1 和 L2 和它们的导数画在图上

![v2-ea5454fc80e6c601fdb347caeeba28cc\_hd.jpg][v2-ea5454fc80e6c601fdb347caeeba28cc_hd.jpg] ![v2-ea5454fc80e6c601fdb347caeeba28cc_hd.jpg 1][]

![v2-d88e01e730c8e8d91facbd2b1248bfec\_hd.jpg][v2-d88e01e730c8e8d91facbd2b1248bfec_hd.jpg] ![v2-d88e01e730c8e8d91facbd2b1248bfec_hd.jpg 1][]

于是会发现，在梯度更新时，不管 L1 的大小是多少（只要不是0）梯度都是1或者-1，所以每次更新时，它都是稳步向0前进。

![v2-dea7fcc3452712b966967e18cd293387\_hd.jpg][v2-dea7fcc3452712b966967e18cd293387_hd.jpg] ![v2-dea7fcc3452712b966967e18cd293387_hd.jpg 1][]

而看 L2 的话，就会发现它的梯度会越靠近0，就变得越小。

![v2-7c0bf87174eb8e7cdc38c86318843a88\_hd.jpg][v2-7c0bf87174eb8e7cdc38c86318843a88_hd.jpg] ![v2-7c0bf87174eb8e7cdc38c86318843a88_hd.jpg 1][]

也就是说加了 L1 正则的话基本上经过一定步数后很可能变为0，而 L2 几乎不可能，因为在值小的时候其梯度也会变小。于是也就造成了 L1 输出稀疏的特性。

### **Reference** ###

1.  [Differences between L1 and L2 as Loss Function and Regularization][]
2.  [Why L1 norm for sparse models][]
3.  [L1 Norms versus L2 Norms][]
4.  [Norm (mathematics)-Wiki][Norm _mathematics_-Wiki]
5.  [Why we use “least squares” regression instead of “least absolute deviations” regression][Why we use _least squares_ regression instead of _least absolute deviations_ regression]

转载于:https://www.cnblogs.com/Arborday/p/10998858.html

[v2-21c3e9c1972631e78330f27f1ac1ac8b_hd.jpg]: https://pic4.zhimg.com/50/v2-21c3e9c1972631e78330f27f1ac1ac8b_hd.jpg
[v2-21c3e9c1972631e78330f27f1ac1ac8b_hd.jpg 1]: /images/20211229/d3bac355151b456dbe008dd733867469.png
[v2-cec18f20eab9513cbfc06e1cee9f5fd1_hd.jpg]: https://pic2.zhimg.com/50/v2-cec18f20eab9513cbfc06e1cee9f5fd1_hd.jpg
[v2-cec18f20eab9513cbfc06e1cee9f5fd1_hd.jpg 1]: /images/20211229/f144b89e61a040db958cbce3deccf434.png
[v2-9f25240cdcb22f6dbc588004c8de1b4a_hd.jpg]: https://pic4.zhimg.com/50/v2-9f25240cdcb22f6dbc588004c8de1b4a_hd.jpg
[v2-9f25240cdcb22f6dbc588004c8de1b4a_hd.jpg 1]: /images/20211229/fb436ea4f00b4f508c2f9afa75511bf0.png
[v2-719517542906dea80a8bed94cfd4318e_hd.jpg]: https://pic2.zhimg.com/50/v2-719517542906dea80a8bed94cfd4318e_hd.jpg
[v2-719517542906dea80a8bed94cfd4318e_hd.jpg 1]: /images/20211229/909ab50f36d541ae8f5d26873ee7ade3.png
[v2-f98502d6681a040760464cbe276cce8d_hd.jpg]: https://pic1.zhimg.com/50/v2-f98502d6681a040760464cbe276cce8d_hd.jpg
[v2-f98502d6681a040760464cbe276cce8d_hd.jpg 1]: /images/20211229/0da10435100c4bd8a3dd69255675e1cc.png
[v2-3ddfc7ea94a81c6992028b9b3026e9f3_hd.jpg]: https://pic1.zhimg.com/50/v2-3ddfc7ea94a81c6992028b9b3026e9f3_hd.jpg
[v2-3ddfc7ea94a81c6992028b9b3026e9f3_hd.jpg 1]: /images/20211229/d35c8a25f9f44776aac408661e1ec46f.png
[v2-385e738fa75411a9150a289a30662d98_hd.jpg]: https://pic2.zhimg.com/50/v2-385e738fa75411a9150a289a30662d98_hd.jpg
[v2-385e738fa75411a9150a289a30662d98_hd.jpg 1]: /images/20211229/368b9bc706914f619249286bab1a0b25.png
[v2-786e7280c82044198c3821849dc105c5_hd.jpg]: https://pic2.zhimg.com/50/v2-786e7280c82044198c3821849dc105c5_hd.jpg
[v2-786e7280c82044198c3821849dc105c5_hd.jpg 1]: /images/20211229/6734bb1c45be4c1486dc30538fb2b1e6.png
[v2-81dd2e4621f822929ccd321dfa4ca413_hd.jpg]: https://pic1.zhimg.com/50/v2-81dd2e4621f822929ccd321dfa4ca413_hd.jpg
[v2-81dd2e4621f822929ccd321dfa4ca413_hd.jpg 1]: /images/20211229/9f706e32cbe64c01a21929f3f986b769.png
[v2-dd562d85f0bd2550ac04b9daa4762969_hd.jpg]: https://pic4.zhimg.com/50/v2-dd562d85f0bd2550ac04b9daa4762969_hd.jpg
[v2-dd562d85f0bd2550ac04b9daa4762969_hd.jpg 1]: /images/20211229/40b78b2ca1f044cd9b6bcc964327e638.png
[v2-949bffa97f4541c5926434ca493cdea5_hd.jpg]: https://pic3.zhimg.com/50/v2-949bffa97f4541c5926434ca493cdea5_hd.jpg
[v2-949bffa97f4541c5926434ca493cdea5_hd.jpg 1]: /images/20211229/e1c8f9bb3d574d9bbd6061f379dd4bcc.png
[v2-724ff11590c2fee9fdece95dad8f5346_hd.jpg]: https://pic2.zhimg.com/50/v2-724ff11590c2fee9fdece95dad8f5346_hd.jpg
[v2-724ff11590c2fee9fdece95dad8f5346_hd.jpg 1]: /images/20211230/af9974f8b5f54b65b29c337e8735812d.png
[v2-4c423dee6740fec107d2cf5e101b09c3_hd.jpg]: https://pic1.zhimg.com/50/v2-4c423dee6740fec107d2cf5e101b09c3_hd.jpg
[v2-4c423dee6740fec107d2cf5e101b09c3_hd.jpg 1]: /images/20211230/dfac8f41f1dd47d1a58ca3d556d01138.png
[v2-ea5454fc80e6c601fdb347caeeba28cc_hd.jpg]: https://pic3.zhimg.com/50/v2-ea5454fc80e6c601fdb347caeeba28cc_hd.jpg
[v2-ea5454fc80e6c601fdb347caeeba28cc_hd.jpg 1]: /images/20211230/5e7f464337e64f1a980b47e6fca3c041.png
[v2-d88e01e730c8e8d91facbd2b1248bfec_hd.jpg]: https://pic4.zhimg.com/50/v2-d88e01e730c8e8d91facbd2b1248bfec_hd.jpg
[v2-d88e01e730c8e8d91facbd2b1248bfec_hd.jpg 1]: /images/20211230/40af6e92e94640ed8e12e073f7fe057e.png
[v2-dea7fcc3452712b966967e18cd293387_hd.jpg]: https://pic4.zhimg.com/50/v2-dea7fcc3452712b966967e18cd293387_hd.jpg
[v2-dea7fcc3452712b966967e18cd293387_hd.jpg 1]: /images/20211230/f99cf5da98414e308c893e8b3a5b1433.png
[v2-7c0bf87174eb8e7cdc38c86318843a88_hd.jpg]: https://pic1.zhimg.com/50/v2-7c0bf87174eb8e7cdc38c86318843a88_hd.jpg
[v2-7c0bf87174eb8e7cdc38c86318843a88_hd.jpg 1]: /images/20211230/6cf3accef3cf4189b3f68dff5e80fc05.png
[Differences between L1 and L2 as Loss Function and Regularization]: https://link.zhihu.com/?target=http%3A//www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/
[Why L1 norm for sparse models]: https://link.zhihu.com/?target=https%3A//stats.stackexchange.com/questions/45643/why-l1-norm-for-sparse-models
[L1 Norms versus L2 Norms]: https://link.zhihu.com/?target=https%3A//www.kaggle.com/residentmario/l1-norms-versus-l2-norms
[Norm _mathematics_-Wiki]: https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/Norm_%28mathematics%29
[Why we use _least squares_ regression instead of _least absolute deviations_ regression]: https://link.zhihu.com/?target=http%3A//www.bradthiessen.com/html5/docs/ols.pdf