libsvm在vc下的移植(一)

客官°小女子只卖身不卖艺 2022-08-26 13:12 122阅读 0赞

LIBSVM软件包是台湾大学林智仁(Chih-Jen Lin)博士等用C++实现的SVM库，并且拥有matlab,perl等工具箱或者代码,移植和使用都比较方便.它可以解决分类问题(包括C-SVC、n-SVC)、回归问题(包括e-SVR、n-SVR)以及分布估计(on e-class-SVM )等问题，提供了线性、多项式、径向基和S形函数四种常用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。  
在Windows环境下，此软件包只提供DOS工具集(主要包括：训练工具svmtrain.exe，预测工具svmpredict.exe，缩放数据工具svmscale.exe和二维演示工具svmtoy.exe.

如果没有工具箱,可以从这里下载,

<table style="line-height:28px; border-collapse:collapse"> 
 <tbody> 
  <tr> 
   <td align="middle"><img alt="" src="http://control.cublog.cn/fileicon/rar.gif" style="border:0px; max-width:100%"></td> 
   <td> 
    <table style="line-height:28px; border-collapse:collapse"> 
     <tbody> 
      <tr> 
       <td align="middle">文件:</td> 
       <td>libsvm-2.89.rar</td> 
      </tr> 
      <tr> 
       <td align="middle">大小:</td> 
       <td>515KB</td> 
      </tr> 
      <tr> 
       <td align="middle">下载:</td> 
       <td><a href="http://blogimg.chinaunix.net/blog/upfile2/090626133546.rar" style="text-decoration:none; color:rgb(0,0,0)" rel="nofollow">下载</a></td> 
      </tr> 
     </tbody> 
    </table> </td> 
  </tr> 
 </tbody> 
</table>

或者从林智仁的主页上下载:http://www.csie.ntu.edu.tw/~cjlin/

这里是2.89版本的,在他的windows下有几个工具,主要使用的是svm-scale.exe用来实现数据缩放归一化,svm-train.exe用来训练数据,生成向量机的model模型,svm-predict.exe用来预测.

具体的使用方法已经在以前的文章中说明过了,现在主要说明下在vc下怎么实现使用libsvm.

在源程序里面，主要由以下2个函数来实现：  
(1) struct svm\_model \*svm\_train(const struct svm\_problem \*prob, const struct svm\_parameter \*param);  
该函数用来做训练，参数prob，是svm\_problem类型数据，具体结构定义如下：  
struct svm\_problem //存储本次参加运算的所有样本(数据集)，及其所属类别。  
\{  
int n; //记录样本总数  
double \*y; //指向样本所属类别的数组  
struct svm\_node \*\*x; //指向一个存储内容为指针的数组  
\};  
其中svm\_node的结构体定义如下：  
struct svm\_node //用来存储输入空间中的单个特征  
\{  
int index; //输入空间序号，假设输入空间数为m  
double value; //该输入空间的值  
\};  
所以，prob也可以说是问题的指针，它指向样本数据的类别和输入向量，在内存中的具体结构图如下：

![libsvm在vc下的移植(一)  - 其实 - 刘伟的BLOG][libsvm_vc_ - _ - _BLOG]

图1.1LIBSVM训练时，样本数据在内存中的存放结构  
只需在内存中申请n\*(m+1)\*sizeof(struct svm\_node)大小的空间，并在里面填入每个样本的每个输入空间的值，即可在程序中完成prob参数的设置。  
参数param，是svm\_parameter数据结构，具体结构定义如下：  
struct svm\_parameter // 训练参数  
\{  
int svm\_type; //SVM类型，  
 int kernel\_type; //核函数类型  
int degree; /\* for poly \*/  
 double gamma; /\* for poly/rbf/sigmoid \*/  
double coef0; /\* for poly/sigmoid \*/  
/\* these are for training on ly \*/  
double cache\_size; /\* in MB 制定训练所需要的内存\*/  
double eps; /\* stopping criteria \*/  
 double C; /\* for C\_SVC, EPSILON\_SVR and NU\_SVR ，惩罚因子\*/  
int nr\_weight; /\* for C\_SVC 权重的数目\*/  
int \*weight\_label; /\* for C\_SVC 权重，元素个数由nr\_weight 决定\*/  
double\* weight; /\* for C\_SVC \*/  
double nu; /\* for NU\_SVC, ON E\_CLASS, and NU\_SVR \*/  
 double p; /\* for EPSILON\_SVR \*/  
int shrinking; /\* use the shrinking heuristics 指明训练过程是否使用压缩\*/  
 int probability; /\* do probability estimates 指明是否要做概率估计\*/  
\}  
其中，SVM类型和核函数类型如下：  
enum \{ C\_SVC, NU\_SVC, ON E\_CLASS, EPSILON\_SVR, NU\_SVR \}; /\* svm\_type \*/  
enum \{ LINEAR, POLY, RBF, SIGMOID, PRECOMPUTED \}; /\* kernel\_type \*/  
只需申请一个svm\_parameter结构体，并按实际需要设定SVM类型、核函数和各种参数的值即可完成参数param的设置。  
设定完这两个参数，就可以直接在程序中调用训练函数进行训练了， 该其函数返回一个struct svm\_model \*SVM模型的指针，可以使用svm\_save\_model(const char \*model\_file\_name, const struct svm\_model \*model)函数，把这个模型保存在磁盘中。至此，训练函数的移植已经完成。  
(2) double svm\_predict(const struct svm\_model \*model, const struct svm\_node \*x);  
参数model，是一个SVM模型的指针，可以使用函数struct svm\_model \*svm\_load\_model(const char \*model\_file\_name)，导入训练时保存好的SVM模型， 此函数返回一个SVM模型的指针，可以直接赋值给变量model。  
参数x，是const struct svm\_node结构体的指针，本意是一个输入空间的指针，但实际上，该函数执行的时候，是从参数x处计算输入空间，直到遇到单个样本数据结束标记-1才结束，也就是说， 该函数运算了单个样本中的所有输入空间数据。因此，在调用此函数时，必须先把预测样本的数据按图3.4中的固定格式写入内存中。另外，该函数只能预测一个样本的值， 本文需要对图像中的所有像数点预测，就要使用for循环反复调用。  
该函数返回一个double类型，指明被预测数据属于哪个类。面对两分类问题的时候，通常使用+1代表正样本，即类1；-1代表负样本，即类2。最后根据返回的double值就可以知道预测数据的类别了。  
上面函数的解释表明LIBSVM做分类的具体内部实现过程。那么，就可以不用DOS工具，直接通过调用LIBSVM函数来实现分类，也就可以直接让LIBSVM嵌入到原有程序中。下面是LIBSVM2.83移植到本文程序中做两分类的步骤：  
(1) 拷贝svm.h和svm.cpp文件到源工程目录下，并添加到工程中；  
(2) 用既定格式保存样本点信息到内存中，并设置好训练参数；  
(3) 调用训练函数，训练得到支持向量器并以文件形式保存到磁盘；  
(4) 导入训练好的支持向量器文件，调用预测函数对血细胞图像中的每一个点进行预测，并根据其返回结果进行分类。

[libsvm_vc_ - _ - _BLOG]: http://blogimg.chinaunix.net/blog/upfile2/090626133756.jpg