L1正则化与L2正则化的区别

ゝ一世哀愁。 2022-04-05 04:12 328阅读 0赞

# 摘要 #

`正则化`的本质是在`Cost Function`中添加的`p-范数`。本文从`正则化`的本质`p-范数`入手，解释了`L1正则化`和`L2正则化`的区别。

# 正则化 #

在`Cost Function`上添加了`正则化项`，就能降低模型的过拟合程度，这就是正则化的作用。  
关于正则化更细节的讲述，请参考[为什么正则化能减少模型过拟合程度][Link 1]。

`正则化项`的不同，就产生了`L1正则化`和`L2正则化`。`L1正则化`和`L2正则化`的表达式，其实就是1-范数与2-范数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]

# 范数 #

`正则化项`的实质就是叠加到`Cost Function`中的`范数`。下面是`p-范数`的表达式：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70 1]

在上图中（x,y）相同的情况下，随着p值的增加，`p-范数`的值趋向于更大，对较大权重的惩罚力度加大（就是说W大的，`p-范数`的值也更大，所以表现在`Cost Function`的值变小）。

# L1正则化 #

下面是整个`Cost Function`的表达式，红色部分就是`L1正则化`的表达式。

![在这里插入图片描述][2018121020441991.png]

`L1正则化`对所有参数的惩罚力度都一样，可以让一部分权重变为零，因此产生稀疏模型，能够去除某些特征（权重为0则等效于去除）。

# L2正则化 #

下面是整个`Cost Function`的表达式，红色部分就是`L2正则化`的表达式。

![在这里插入图片描述][20181210204427458.png]

`L2正则化`减少了权重的固定比例，使权重平滑。`L2正则化`不会使权重变为0（不会产生稀疏模型），所以选择了更多的特征。

# 区别 #

*  L1减少的是一个常量，L2减少的是权重的固定比例
 *  L1使权重稀疏，L2使权重平滑
 *  L1优点是能够获得sparse模型，对于large-scale的问题来说这一点很重要，因为可以减少存储空间
 *  L2优点是实现简单，能够起到正则化的作用。缺点就是L1的优点：无法获得sparse模型

# 参考 #

*  [https://blog.csdn.net/ybdesire/article/details/79068603][Link 1]
 *  [https://blog.csdn.net/TXBSW/article/details/79073933][https_blog.csdn.net_TXBSW_article_details_79073933]
 *  [https://blog.csdn.net/vincent2610/article/details/53408088][https_blog.csdn.net_vincent2610_article_details_53408088]
 *  [https://www.quora.com/What-is-the-difference-between-L1-and-L2-regularization-How-does-it-solve-the-problem-of-overfitting-Which-regularizer-to-use-and-when][https_www.quora.com_What-is-the-difference-between-L1-and-L2-regularization-How-does-it-solve-the-problem-of-overfitting-Which-regularizer-to-use-and-when]
 *  [https://www.zhihu.com/question/26485586][https_www.zhihu.com_question_26485586]

[Link 1]: https://blog.csdn.net/ybdesire/article/details/79068603
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]: /images/20220405/9ddd01c4eb964f92977efaf66db83863.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70 1]: /images/20220405/c73e2ca9a8534d5386bbe45dd9aba3b5.png
[2018121020441991.png]: /images/20220405/ac308c35aad744d5912c16332a3fc899.png
[20181210204427458.png]: /images/20220405/5a29839601fc47f8b1cd63202b5e41d2.png
[https_blog.csdn.net_TXBSW_article_details_79073933]: https://blog.csdn.net/TXBSW/article/details/79073933
[https_blog.csdn.net_vincent2610_article_details_53408088]: https://blog.csdn.net/vincent2610/article/details/53408088
[https_www.quora.com_What-is-the-difference-between-L1-and-L2-regularization-How-does-it-solve-the-problem-of-overfitting-Which-regularizer-to-use-and-when]: https://www.quora.com/What-is-the-difference-between-L1-and-L2-regularization-How-does-it-solve-the-problem-of-overfitting-Which-regularizer-to-use-and-when
[https_www.zhihu.com_question_26485586]: https://www.zhihu.com/question/26485586