支持向量机简介

支持向量机是一种监督学习数学模型，由n个变量组成的数据项都可以抽象成n维空间内的一个点，点的各个维度坐标值即为各个变量。如果一堆数据项可以分为m个类，那么可以构建m－1个n维超平面将不同种类的数据项的点尽量分隔开，则这些超平面为支持向量面，这个分类数学模型为支持向量机分类模型。

Classification分析——鸢尾花数据集

Scikit-Learn自带鸢尾花数据集，可使用datasets.load_iris()载入。

data——每行是某个鸢尾花的花萼长度、花萼宽度、花瓣长度、花瓣宽度。
target——第n个数据分别表示data段第n行数据所对应的鸢尾花类别编号（共3类）。

首先，使用交叉验证法进行分析。由于交叉验证法每次选取的测试集是随机的，因此每次运算结果未必相同。下面为鸢尾花数据集的SVM聚类训练的源码，并用交叉验证法进行分析。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVC
from numpy import *
# download the dataset
iris_dataset = datasets.load_iris()
iris_data = iris_dataset.data           
iris_target = iris_dataset.target
# split data and target into training set and testing set
# 80% training, 20% testing
x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_target, test_size = 0.2)
# construct SVC by using rbf as kernel function
SVC_0 = SVC(kernel = 'rbf')
SVC_0.fit(x_train, y_train)
predict = SVC_0.predict(x_test)
right = sum(predict == y_test)
# accuracy rate
print("%f%%" % (right * 100.0 / predict.shape[0]))

以下源码是使用留一验证法（Leave-One-Out，LOO）对鸢尾花数据集进行分析。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVC
from numpy import *
def data_svc_test(data, target, index):
    x_train = vstack((data[0: index], data[index + 1: -1]))
    x_test = data[index]
    y_train = hstack((target[0: index], target[index + 1: -1]))
    y_test = target[index]
    SVC_0 = SVC(kernel = 'rbf')
    SVC_0.fit(x_train, y_train)
    predict = SVC_0.predict(x_test)
    return predict == y_test
# download the dataset
iris_dataset = datasets.load_iris()
iris_data = iris_dataset.data           
iris_target = iris_dataset.target
length = iris_target.shape[0]
right = 0
for i in range(0, length):
    right += data_svc_test(iris_data, iris_target, i)
# accuracy rate
print("%f%%" % (right * 100.0 / length))

Regression分析——波士顿房价数据集

Scikit-learn自带波士顿房价集，该数据集来源于1978年美国某经济学杂志上，可由datasets.load_boston()载入。该数据集包含若干波士顿房屋的价格及其各项数据，每个数据项包含14个数据，分别是房屋均价及周边犯罪率、是否在河边等相关信息，其中最后一个数据是房屋均价。
这里涉及到了一个数据预处理的步骤——为了便于后续训练，需要对读取到的数据进行处理。因为影响房价的数据的范围都不一致，这些数据都不在一个数量级上，如果直接使用未经预处理的数据进行训练，很容易导致数值大的数据对结果影响极大，从而不能平衡的体现出各个数据的重要性。因此需要通过数学方法，依据方差、平均值等因素，把各类数据放缩到一个相同的范围内，使其影响力所占权重相近。

from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVR
# preprocessing function
from sklearn.preprocessing import StandardScaler
from numpy import *
house_dataset = datasets.load_boston()
house_data = house_dataset.data
house_price = house_dataset.target
x_train, x_test, y_train, y_test = train_test_split(house_data, house_price, test_size = 0.2)
# f(x) = (x - means) / standard deviation
scaler = StandardScaler()
scaler.fit(x_train)
# standardization
x_train = scaler.transform(x_train)
x_test = scaler.transform(x_test)
# construct SVR model
svr = SVR(kernel = 'rbf')
svr.fit(x_train, y_train)
y_predict = svr.predict(x_test)
result = hstack((y_test.reshape(-1, 1), y_predict.reshape(-1, 1)))
print(result)