【转】LASSO回归与L1正则化西瓜书

痛定思痛。 2022-10-15 12:55 168阅读 0赞

[https://blog.csdn.net/BIT\_666/article/details/80051737][https_blog.csdn.net_BIT_666_article_details_80051737]

总结，lasso约束相比l2更能促进参数的系数解，然后求解lasso问题可以使用PGD（Proximal Gradient Descent）方法，而PGD方法可以适应软阈值函数（**Soft Thresholding**）来求解。

这里对其中一些地方再做一些分析，其中

.![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70][]

这里的X和T分别指什么呢，我们看作者的证明过程和结论：

![20210525124700385.png][]

有：

![20210525124716173.png][]

可知X指的是最优化问题中的z，T指的是最优化问题中的λ/2

所以回到本题的lasso使用PGD得到的最优化问题的解是：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1][]

[https_blog.csdn.net_BIT_666_article_details_80051737]: https://blog.csdn.net/BIT_666/article/details/80051737
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221014/536a943cd1ff45ed934cca1741f567a3.png
[20210525124700385.png]: /images/20221014/1900bbb16b194430b9ec391f6d82c3a8.png
[20210525124716173.png]: /images/20221014/63cb30284d3842829d7ead404bf256dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221014/3c38e6baf78f411991ee184834bef90c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 LASSO回归与L1正则化西瓜书

LASSO回归与L1正则化西瓜书 2018年04月23日 19:29:57 [BIT\_666][BIT_666] 阅读数 2968更多分类专栏： [机器学习][L

r囧r小猫/ 2023年06月04日 02:42/ 0 赞/ 4 阅读

相关 L1正则化、L2正则化以及dropout正则化的keras实现

1. ` L2正则化` 2. `from keras import regularizers` 3. 4. `model = models.Sequential()`

太过爱你忘了你带给我的痛/ 2022年10月29日 03:21/ 0 赞/ 219 阅读

相关【转】LASSO回归与L1正则化西瓜书

[https://blog.csdn.net/BIT\_666/article/details/80051737][https_blog.csdn.net_BIT_666_ar

痛定思痛。/ 2022年10月15日 12:55/ 0 赞/ 169 阅读

相关【机器学习】一文读懂正则化与LASSO回归，Ridge回归

1.过拟合当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法：方法一：减少特征数量（人工选择重要特征来保留，会丢弃部

以你之姓@/ 2022年10月15日 12:50/ 0 赞/ 220 阅读

相关 L1与L2正则化

0 公式定义 L L L为loss L1正则 m i n L + C ⋅ ∥ w ∥ 1 min L + C · \\left \\|w \\right \\|\

红太狼/ 2022年09月17日 05:22/ 0 赞/ 209 阅读

相关回归的正则化模型：岭回归和Lasso回归（套索回归）

http://[blog.csdn.net/pipisorry/article/details/52974495][blog.csdn.net_pipisorry_articl

痛定思痛。/ 2022年06月10日 23:50/ 0 赞/ 371 阅读

相关正则化，L1正则和L2正则

问题描述监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时

小灰灰/ 2022年05月24日 04:48/ 0 赞/ 327 阅读

相关 L1正则化与L2正则化的区别

摘要 `正则化`的本质是在`Cost Function`中添加的`p-范数`。本文从`正则化`的本质`p-范数`入手，解释了`L1正则化`和`L2正则化`的区别。正

ゝ一世哀愁。/ 2022年04月05日 04:12/ 0 赞/ 331 阅读

相关 L1正则化和L2正则化

文章目录 1. L1正则化和L2正则化： 2. L1正则化和L2正则化的作用: 3.

快来打我*/ 2022年03月08日 15:12/ 0 赞/ 290 阅读

相关 L1和L2正则化

什么是正则化？正则化就是在损失函数后加上一个正则化项（惩罚项），其实就是常说的结构风险最小化策略，即经验风险（损失函数）加上正则化。一般模型越复杂，正则化值越大。常

蔚落/ 2022年03月02日 08:42/ 0 赞/ 295 阅读