SVM——分类与回归实例

忘是亡心i 2022-06-07 02:26 338阅读 0赞

[在线课堂][Link 1]——支持向量机实例学习笔记。

# 支持向量机简介 #

支持向量机是一种监督学习数学模型，由n个变量组成的数据项都可以抽象成n维空间内的一个点，点的各个维度坐标值即为各个变量。如果一堆数据项可以分为m个类，那么可以构建m－1个n维超平面将不同种类的数据项的点尽量分隔开，则这些超平面为支持向量面，这个分类数学模型为支持向量机分类模型。

# Classification分析——鸢尾花数据集 #

Scikit-Learn自带鸢尾花数据集，可使用`datasets.load_iris()`载入。

*  data——每行是某个鸢尾花的花萼长度、花萼宽度、花瓣长度、花瓣宽度。
 *  target——第n个数据分别表示data段第n行数据所对应的鸢尾花类别编号（共3类）。

首先，使用**交叉验证法**进行分析。由于交叉验证法每次选取的测试集是随机的，因此每次运算结果未必相同。下面为鸢尾花数据集的SVM聚类训练的源码，并用交叉验证法进行分析。

from sklearn import datasets
    from sklearn.cross_validation import train_test_split
    from sklearn.svm import SVC
    from numpy import *
    
    # download the dataset
    iris_dataset = datasets.load_iris()
    iris_data = iris_dataset.data           
    iris_target = iris_dataset.target
    
    # split data and target into training set and testing set
    # 80% training, 20% testing
    x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_target, test_size = 0.2)
    # construct SVC by using rbf as kernel function
    SVC_0 = SVC(kernel = 'rbf')
    SVC_0.fit(x_train, y_train)
    
    predict = SVC_0.predict(x_test)
    right = sum(predict == y_test)
    # accuracy rate
    print("%f%%" % (right * 100.0 / predict.shape[0]))

以下源码是使用**留一验证法（Leave-One-Out，LOO）**对鸢尾花数据集进行分析。

from sklearn import datasets
    from sklearn.cross_validation import train_test_split
    from sklearn.svm import SVC
    from numpy import *
    
    def data_svc_test(data, target, index):
        x_train = vstack((data[0: index], data[index + 1: -1]))
        x_test = data[index]
        y_train = hstack((target[0: index], target[index + 1: -1]))
        y_test = target[index]
        SVC_0 = SVC(kernel = 'rbf')
        SVC_0.fit(x_train, y_train)
        predict = SVC_0.predict(x_test)
        return predict == y_test
    
    # download the dataset
    iris_dataset = datasets.load_iris()
    iris_data = iris_dataset.data           
    iris_target = iris_dataset.target
    length = iris_target.shape[0]
    right = 0
    for i in range(0, length):
        right += data_svc_test(iris_data, iris_target, i)
    
    # accuracy rate
    print("%f%%" % (right * 100.0 / length))

# Regression分析——波士顿房价数据集 #

Scikit-learn自带波士顿房价集，该数据集来源于1978年美国某经济学杂志上，可由`datasets.load_boston()`载入。该数据集包含若干波士顿房屋的价格及其各项数据，每个数据项包含14个数据，分别是房屋均价及周边犯罪率、是否在河边等相关信息，其中最后一个数据是房屋均价。  
这里涉及到了一个**数据预处理**的步骤——为了便于后续训练，需要对读取到的数据进行处理。因为影响房价的数据的范围都不一致，这些数据都不在一个数量级上，如果直接使用未经预处理的数据进行训练，很容易导致数值大的数据对结果影响极大，从而不能平衡的体现出各个数据的重要性。因此需要通过数学方法，依据方差、平均值等因素，把各类数据放缩到一个相同的范围内，使其影响力所占权重相近。

from sklearn import datasets
    from sklearn.cross_validation import train_test_split
    from sklearn.svm import SVR
    # preprocessing function
    from sklearn.preprocessing import StandardScaler
    from numpy import *
    
    house_dataset = datasets.load_boston()
    house_data = house_dataset.data
    house_price = house_dataset.target
    x_train, x_test, y_train, y_test = train_test_split(house_data, house_price, test_size = 0.2)
    # f(x) = (x - means) / standard deviation
    scaler = StandardScaler()
    scaler.fit(x_train)
    # standardization
    x_train = scaler.transform(x_train)
    x_test = scaler.transform(x_test)
    
    # construct SVR model
    svr = SVR(kernel = 'rbf')
    svr.fit(x_train, y_train)
    y_predict = svr.predict(x_test)
    result = hstack((y_test.reshape(-1, 1), y_predict.reshape(-1, 1)))
    print(result)

最后预测结果呈2列显示，第1列为实际房价，第2列为预测房价，此处略

作者：一枚圆滚滚的鸡蛋  
链接：http://www.jianshu.com/p/84015743be01  
來源：简书  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

[Link 1]: http://www.hubwiz.com/class/56d644b4ecba4b4d31cd280a