理解感知机从原始形式到对偶形式是一种怎样的思想

£神魔★判官ぃ 2022-12-17 01:15 226阅读 0赞

感知机原理这篇博客写的很棒:https://www.cnblogs.com/huangyc/p/9706575.html

读完《统计学习方法》和这篇博客后,作为入门者来说,我脑袋里有两大疑惑:
一个是感知机地收敛定理证明,这个没看懂,不过这个也不影响我继续阅读。
另一个就是对偶了,对偶是个啥东西?为什么要用对偶形式?对偶是什么?对偶思想是一种怎样的思想?

“对偶”是一种怎样的思想

在知乎上我找到了一个通俗易懂的回答:

我觉得就是转化,这个问题的最小化不好求,那么就转化为另一个问题的最大化(这两个问题存在某种关系,他们都逼近某个值)。举个不恰当的例子,假设你在二楼,想知道二楼地板到地面的距离,不容易求的话,就转化为地面到一楼天花板的距离。

这个时候我大概明白“对偶”是一种怎样的思想,就是“换个角度思考问题”的思想。

正如《统计学习方法》中陈述的:

对偶形式的基本想法是,将 w w w和 b b b表示为实例 x i x_i xi​和标记 y i y_i yi​的线性组合的形式,通过求解其系数而求得 w w w和 b b b。

其实这种思想伴随我们很久了,甚至高中数学课本上都会原文讲到这个,只是我们当时仅仅把它当作一个知识来学习,而非一种思想,以至于毕业后忘得一干二净,当再次遇到时,形同陌路。有时候并不是书到用时方恨少,而是读书没有读到其意自现。

参考资料

《统计学习方法》
对偶 (数学术语):
https://baike.baidu.com/item/%E5%AF%B9%E5%81%B6/3590968?fr=aladdin
中学数学中的对偶关系:
https://wenku.baidu.com/view/288ea279b8f67c1cfad6b8f2.html\#
如何理解对偶问题?
https://www.zhihu.com/question/27057384
线性规划(运筹学术语)
https://baike.baidu.com/item/%E7%BA%BF%E6%80%A7%E8%A7%84%E5%88%92/1661606?fr=aladdin
约束最优化问题:
https://baike.baidu.com/item/%E7%BA%A6%E6%9D%9F%E6%9C%80%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98/19131636?fr=aladdin

发表评论

表情:
评论列表 (有 0 条评论,226人围观)

还没有评论,来说两句吧...

相关阅读

    相关 人才流动形式

                           随着移动互联网的成熟,越来越多人进入了这个领域,只要你在北上广深的地铁上站上两站,就能听到旁边的人在谈他参与的移动互联网创业。随

    相关 Redis锁形式

    基于Redis实现的简单分布式锁 通常在业务开发时候,尽量保证接口的调用幂等。比如,对同一个订单用户只能评价一次,如果用户评价两次则第二次应该返回异常。 但客户端存在短时间