SVM学习笔记1-问题定义

小鱼儿 2022-03-29 08:48 140阅读 0赞

问题定义： 给出一些样本，包含两类。svm试图找到一个超平面，将数据分开，并且每种样本到超平面的距离的最小值最大。

输入样本：$\\\{x\_\{i\},y\_\{i\}| 1\\leq i\\leq n \\\}$,$y\_\{i\}\\in \\\{-1,1\\\}$

超平面定义:$w^\{T\}x+b=0$

设某一个采样点$x^\{(i)\}$到超平面的距离为$\\gamma^\{(i)\}$,那么从$x^\{(i)\}$作方向为w的射线，其与超平面的交点为B，采样点到B的距离为$\\gamma^\{(i)\}$，那么B可以用这样的向量表示$B=x^\{(i)\}-\\gamma^\{(i)\}\\frac\{w\}\{||w||\}$。

由于B在超平面上，所以有:$w^\{T\}(x^\{(i)\}-\\gamma^\{(i)\}\\frac\{w\}\{||w||\})+b=0$  
我们从中解得$\\gamma^\{(i)\}=(\\frac\{w\}\{||w||\})^\{T\}x^\{(i)\}+\\frac\{b\}\{||w||\}$。当$y^\{(i)\}=1$时此值为正数，否则为负数，所以我们将其乘以$y^\{(i)\}$，那么此时$\\gamma^\{(i)\}=y^\{(i)\}((\\frac\{w\}\{||w||\})^\{T\}x^\{(i)\}+\\frac\{b\}\{||w||\})$

现在令$||w||=1$,按照我们问题定义中的描述，我们要解决的问题是这样的：$max\_\{w,b,\\gamma \}$ $\\gamma$，使得(1)$y^\{(i)\}(w^\{T\}x^\{(i)\}+b)\\geq \\gamma ,1 \\leq i \\leq n$,(2)$||w||=1$

由于$||w||=1$的限制不利于求解，所以我们将求解换成如下的描述$max\_\{w,b,\\gamma \}$ $\\frac \{\\gamma\}\{||w||\}$，使得$y^\{(i)\}(w^\{T\}x^\{(i)\}+b)\\geq \\gamma ,1 \\leq i \\leq n$。此时$w$的大小可以任意取。

进一步我们令$\\gamma=1$,那么现在变为$max\_\{w,b\}$ $\\frac \{1\}\{||w||\}$，使得$y^\{(i)\}(w^\{T\}x^\{(i)\}+b)\\geq 1 ,1 \\leq i \\leq n$

最后，将求解问题变成$min\_\{w,b\}$ $\\frac\{1\}\{2\}||w||^\{2\}$，使得$y^\{(i)\}(w^\{T\}x^\{(i)\}+b)\\geq 1 ,1 \\leq i \\leq n$。

发表评论取消回复

表情：

评论列表（有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

相关【Android学习笔记】1.安装问题

1.安卓官网下载的 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAb

阳光穿透心脏的1/2处/ 2022年09月10日 12:17/ 0 赞/ 196 阅读

相关 Stanford机器学习课程笔记——SVM

Stanford机器学习课程笔记——SVM 前面已经学习过SVM，写了几片博文，如下：入门SVM：http://blog.csdn.net/puqutogether/a

分手后的思念是犯贱/ 2022年08月06日 13:27/ 0 赞/ 209 阅读

相关机器学习笔记之SVM（SVR）算法

学过SVM后，看了那么多别人的文章，是时候自己总结一波了。权当写的笔记供自己日后再回顾吧。 PS:结合自己在工作过程中（我这里用SVR做股票预测）用到的知识来写的，不会很全

àì夳堔傛蜴生んèń/ 2022年06月17日 06:46/ 0 赞/ 501 阅读

相关学习SVM（三）理解SVM中的对偶问题

[ 学习SVM（一） SVM模型训练与分类的OpenCV实现][_SVM_ SVM_OpenCV] [学习SVM（二）如何理解支持向量机的最大分类间隔][SVM_]

我就是我/ 2022年06月13日 05:23/ 0 赞/ 178 阅读

相关机器学习算法系列(1)--SVM

本文转载自：[Support Vector Machine][] SVM算法是在深度学习大火之前最受欢迎的机器学习算法，也是广大机器学习爱好者的入门算法。一、SVM

女爷i/ 2022年05月17日 10:00/ 0 赞/ 203 阅读

相关 shiro学习笔记（1）--基础定义

一：shiro基础（学习地址：[https://www.w3cschool.cn/shiro/andc1if0.html）][https_www.w3cschool.cn

本是古典何须时尚/ 2022年05月13日 06:40/ 0 赞/ 187 阅读

相关 SVM学习笔记1-问题定义

问题定义：给出一些样本，包含两类。svm试图找到一个超平面，将数据分开，并且每种样本到超平面的距离的最小值最大。输入样本：$\\\{x\_\{i\},y\_\{i\}|

小鱼儿/ 2022年03月29日 08:48/ 0 赞/ 141 阅读

相关机器学习笔记：支持向量机(svm)

支持向量机(svm)英文为Support Vector Machines 第一次接触支持向量机是2017年在一个在线解密游戏“哈密顿行动”中的一个关卡的二分类问题，用到了台湾

水深无声/ 2021年11月01日 14:08/ 0 赞/ 373 阅读

相关学习笔记面试问题1

学习笔记 JDK,JRE,JVM的关系 JDK java开发工具包JRE是JDK的一部分，JREjava运行环境，JRE由两部分组成JVM和类库 main方法

ゝ一纸荒年。/ 2021年10月12日 17:44/ 0 赞/ 271 阅读

相关 rbf核的svm分类学习笔记

1. C参数代表的是单个样本对分类器的影响 2. gram参数是控制惩罚阈值范围，即对错误分类的容忍度 3. 如果最优参数位于搜索范围边界，可以扩大搜索范围继续 4.

ゝ一纸荒年。/ 2021年06月22日 15:37/ 0 赞/ 402 阅读