基于Python实现的SVM实验

梦里梦外; 2024-04-07 16:01 44阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86764028  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86764028

## SVM实验 ##

### 一、数据处理 ###

本次实验数据集为 Breast cancer dataset

通过sklearn.datasets获取数据

cancer = load_breast_cancer()
    cancer_x=cancer.data
    cancer_y=cancer.target

查看数据大小即部分数据：

print("加载完毕，数据大小：")
    print(cancer_x.shape)
    print(cancer_y.shape)
    print("前5个数据：")
    for i in range(5):
    print(cancer_x[i],cancer_y[i])

![在这里插入图片描述][a1280d0585ee4a4bbc748292a7c00871.png]

breast cancer 的影响因素有30个，结果为0,1，表示是否患病

对数据进行拆分, test\_size=0.2：

`x_train,x_test,y_train, y_test=train_test_split(cancer_x,cancer_y,test_size=0.2)`

### 二、算法 ###

##### SVM算法原理 #####

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示即为分离超平m面。  
![在这里插入图片描述][a2aa47bf10b94d55a188fab20c8358d7.png]

**几何间隔**：对于给定的数据集 和超平面 ，定义超平面关于样本点的几何间隔为

![在这里插入图片描述][b56a10c74117444fae1b6e6e922f0935.png]

超平面关于所有样本点的几何间隔的最小值为  
![在这里插入图片描述][b7fc7edededd4f99a5985c21b1a36e96.png]

根据以上定义，SVM模型的求解最大分割超平面问题可以表示为以下约束最优化问题

![在这里插入图片描述][428d436f13a84c79a167248c87463be2.png]

经变化，SVM模型的求解最大分割超平面问题又可以表示为以下约束最优化问题

![在这里插入图片描述][f646f0ddb10049a793e20f6e04f5cd6b.png]

对其使用拉格朗日乘子法得到其对偶问题（dual problem）。将有约束的原始目标函数转换为无约束的新构造的拉格朗日目标函数  
![在这里插入图片描述][21d57d82f19348a486a5eae8aa4f0fc6.png]

经变化得：  
![在这里插入图片描述][54fff943df4446bd8b6b3b0ff2105493.png]  
![在这里插入图片描述][03e77dc823a74bcc9dc437c3d70eb3b1.png]

计算：

![在这里插入图片描述][c3566c5220b34688a1cbf31dbbeeee39.png]

求分离超平面：  
![在这里插入图片描述][ea7a4467e2194af4a16ebb4d1ad7e153.png]

#### kernel ####

用核函数替换目标函数和分类决策函数中的内积。核函数表示，通过一个非线性转换后的两个实例间的内积。

![在这里插入图片描述][9e8fc4d9a5ee44dbb8fb4a26be23bb45.png]

求分离超平面

![在这里插入图片描述][51054ebf4f2d4e1e8c1c2a489a78ff0d.png]

分类决策函数  
![在这里插入图片描述][ba69e15019d24664ab38b7614766b936.png]

##### 核函数有三种： #####

1.高斯核函数（rbf）

![在这里插入图片描述][5bac6b997ddb4ccfbece0745d659005f.png]

2.多项式核函数

![在这里插入图片描述][7297b57fbbf84a90bbeca7d4cd4b40d8.png]

3.sigmoid核函数

![在这里插入图片描述][24b172969cfc465280c1f07ba80b6477.png]

线性核函数就是  
![在这里插入图片描述][df031a44119e4a18ad699b69191fc763.png]

### 三、模型 ###

获取数据后选取各类模型，用训练集数据训练，然后用模型预测测试集结果，与真实结果比较，计算各模型的正确率。

##### 第一个模型：linear kernel #####

svc_clf = SVC(kernel='linear')
    svc_clf.fit(x_train,y_train)
    y_pred = svc_clf.predict(x_test)
    print("正确率为：%f"% accuracy(y_test,y_pred))

##### 第二个模型：poly kernel #####

svc_clf2 = SVC(kernel='poly', degree=4)
    svc_clf2.fit(x_train,y_train)
    y_pred2 = svc_clf2.predict(x_test)
    print("正确率为：%f"%accuracy(y_test,y_pred2))

##### 第三个模型：rbf kernel #####

svc_clf3 = SVC(kernel='rbf')
    svc_clf3.fit(x_train,y_train)
    y_pred3 = svc_clf3.predict(x_test)
    print("正确率为：%f"%accuracy(y_test,y_pred3))

##### 第四个模型：sigmoid kernel #####

svc_clf4 = SVC(kernel='sigmoid')
    svc_clf4.fit(x_train,y_train)
    y_pred4 = svc_clf4.predict(x_test)
    print("正确率为：%f"%accuracy(y_test,y_pred4))

### 四、结果 ###

![在这里插入图片描述][0fa39e34c6464718a8e18cb811350aad.png]

在4个模型中

线性的正确率最大,为0.947

sigmoid的正确率最小，为0.412

poly,rbf kernel 的正确率相同，为0.895

本次实验中linear kernel效果最好

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86764028  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/86764028

[Link 1]: https://download.csdn.net/download/sheziqiong/86764028
[a1280d0585ee4a4bbc748292a7c00871.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/24905d561e974e3b9710ea5a1593a7bb.png
[a2aa47bf10b94d55a188fab20c8358d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1526c26747c04c1d8ac6c119c4938c42.png
[b56a10c74117444fae1b6e6e922f0935.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b863c057d27c43189a5420c6274f867d.png
[b7fc7edededd4f99a5985c21b1a36e96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/01cbfe01957442dea8414b620517fbe2.png
[428d436f13a84c79a167248c87463be2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/422b026cd80a4715aa5cfdad2d867350.png
[f646f0ddb10049a793e20f6e04f5cd6b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e7f2f0ae5b5b43498207833572f031c6.png
[21d57d82f19348a486a5eae8aa4f0fc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4f86367bc4c34931b4f0631b8568917f.png
[54fff943df4446bd8b6b3b0ff2105493.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4cd1b7399a4c46f498cbb514eae515f2.png
[03e77dc823a74bcc9dc437c3d70eb3b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1f2d0baa86264463b60a5fae5601ed1b.png
[c3566c5220b34688a1cbf31dbbeeee39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/75b2ff8cd2724aeeaaf57c0524fbb6a7.png
[ea7a4467e2194af4a16ebb4d1ad7e153.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e93e56b8831c4e41b88255893ea43443.png
[9e8fc4d9a5ee44dbb8fb4a26be23bb45.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9e3df5bdfd414889af7433b87a99cb5a.png
[51054ebf4f2d4e1e8c1c2a489a78ff0d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/99ef0bbd6cf94bb28cf424a22aa687c7.png
[ba69e15019d24664ab38b7614766b936.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a44ca9c2de6143e7b6be16c5bc7fd510.png
[5bac6b997ddb4ccfbece0745d659005f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/50d83677896f4c94929abf4b1dc32a49.png
[7297b57fbbf84a90bbeca7d4cd4b40d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1d62d336a9b344869d01b05d3e7f2165.png
[24b172969cfc465280c1f07ba80b6477.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e68b62a4fa584b1daa96d9bd66968034.png
[df031a44119e4a18ad699b69191fc763.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1ddf486785eb49cc8267e98f247d0646.png
[0fa39e34c6464718a8e18cb811350aad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b4f47ab7cdd14377874b8c16ce3d3580.png