理解感知机从原始形式到对偶形式是一种怎样的思想
感知机原理这篇博客写的很棒:https://www.cnblogs.com/huangyc/p/9706575.html
读完《统计学习方法》和这篇博客后,作为入门者来说,我脑袋里有两大疑惑:
一个是感知机地收敛定理证明,这个没看懂,不过这个也不影响我继续阅读。
另一个就是对偶了,对偶是个啥东西?为什么要用对偶形式?对偶是什么?对偶思想是一种怎样的思想?
“对偶”是一种怎样的思想
在知乎上我找到了一个通俗易懂的回答:
我觉得就是转化,这个问题的最小化不好求,那么就转化为另一个问题的最大化(这两个问题存在某种关系,他们都逼近某个值)。举个不恰当的例子,假设你在二楼,想知道二楼地板到地面的距离,不容易求的话,就转化为地面到一楼天花板的距离。
这个时候我大概明白“对偶”是一种怎样的思想,就是“换个角度思考问题”的思想。
正如《统计学习方法》中陈述的:
对偶形式的基本想法是,将 w w w和 b b b表示为实例 x i x_i xi和标记 y i y_i yi的线性组合的形式,通过求解其系数而求得 w w w和 b b b。
其实这种思想伴随我们很久了,甚至高中数学课本上都会原文讲到这个,只是我们当时仅仅把它当作一个知识来学习,而非一种思想,以至于毕业后忘得一干二净,当再次遇到时,形同陌路。有时候并不是书到用时方恨少,而是读书没有读到其意自现。
参考资料
《统计学习方法》
对偶 (数学术语):
https://baike.baidu.com/item/%E5%AF%B9%E5%81%B6/3590968?fr=aladdin
中学数学中的对偶关系:
https://wenku.baidu.com/view/288ea279b8f67c1cfad6b8f2.html\#
如何理解对偶问题?
https://www.zhihu.com/question/27057384
线性规划(运筹学术语)
https://baike.baidu.com/item/%E7%BA%BF%E6%80%A7%E8%A7%84%E5%88%92/1661606?fr=aladdin
约束最优化问题:
https://baike.baidu.com/item/%E7%BA%A6%E6%9D%9F%E6%9C%80%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98/19131636?fr=aladdin
还没有评论,来说两句吧...