python实现感知机（公式推导+源代码）

刺骨的言语ヽ痛彻心扉 2022-12-22 09:58 227阅读 0赞

本篇文章主要从感知机的公式推导以及代码实现两个方面讲起。

首先我们来介绍下感知机的定义：感知机是**二分类**的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将**实例划分为两**类的分离超平面。因此，感知机旨在求出该超平面，为求得超平面我们这里引入了基于误分类的损失函数，利用梯**度下降法对损失函数进行最优化。**

知道了感知机的基本定义之后，接下来我们需要来了解下感知机模型。

**感知机模型**可以这样定义：假设输入空间（**特征向量**）是![20201119185239951.png][]，**输出空间**为![2020111918525668.png][],输入![20201119185316407.png][]表示实例的特征向量，对应于输入空间的点，输出![20201119185336331.png][]表示实例的类别，则由输入空间到输出空间的表达形式为![20201119185347332.png][]

其中上面该函数称为感知机**，**其中**w，b**称为模型的参数**，**![20201119185508505.png][]称为权值**，b**称为偏置**，w\*x**表示为w和x的内积。

并且符号函数为：![20201119185624316.png][]

这里我网上找了张图来阐述下感知机线性方程（也可以称为超平面）如何将不同的两类区分开来：

![2020111918584878.png][]

在这张图中我们可能不理解为什么**w**为超平面的法向量（可以参考下面这个证明）

![c194a21c9f131a487fa4ae1d34a78e7d.png][]

此外，为了能更好的区分正负样本我们需要找到一个超平面去将正负样本分离开来，那如何找到这样的一个超平面呢，这是我们在这里需要思考的。

在机器学习中，我们首先需要去找损失函数，然后通过损失函数转化为最优问题，利用梯度下降方法进行参数的更新，最后获得我们需要的最优参数。

在感知机模型中，我们同样也需要通过寻找损失函数来确定我们这个超平面，如果我们单纯的来通过更新误分类点的总数是无法求得最佳参数（w、b）因为我们的感知机线性方程为：

w\*x + b = 0，所以我们需要转换思路，那该怎么弄。我们可以通过误分类点到超平面的距离来寻找最佳参数w、b。

那么点到超平面的距离公式为：![2020111919251957.png][]![20201119192533868.png][]

这里我网上找了一位博主写的公式推导（[原文链接][Link 1]），顺便我自己也在这里推导下吧（可能有些地方说的不准确请多多体谅）

![20201119192819838.png][]

如图所示，倾斜的直线为**超平面S**，**w**为超平面S的法向量，X1为超平面一点，X0为X1在超平面S上的投影，所以我们可以看到**w和向量X0X1平行**，

所以可得：![20201119193105258.png][]（模的乘积等于乘积的模）

则：![20201119193218584.png][]

又因为：![20201119193257242.png][]

且X0在超平面S上，所以有w\*X0 + b = 0

故:![20201119193349643.png][]

综上所述，可得：![20201119193416706.png][]（这里b+wx1外面忘了加一个绝对值）

化简下公式可得：![20201119193543405.png][]

好了，下面我们需要思考的是我们该如何区分误分类点？

书本给了一个公式：![2020111919372221.png][]

![20201119193758474.png][]

所以一个误分类点到超平面的距离为：![20201119193827190.png][]

那么所有误分类点到超平面的距离为：![20201119193902656.png][]

书上说了句：![2020111919394549.png][]

这句话我也不填了解，知乎上有位兄台是这样说的：

![20201119194157120.png][]

所以我们也可以找到损失函数：![20201119194246676.png][]

然后我们对w和b求梯度可得：![20201119194316224.png][]

最后更新参数w和b：![20201119194351127.png][]![20201119194403699.png][]

至此，我们也完成了感知机公式推导，下面我们开始编码实现感知机模型吧。（如果觉得我推导的你不是很理解这里有个视频可以参考下：[手推感知机][Link 2]）

1.准备数据集（这里我们使用的是鸢尾花数据集）

这里我们可以通过写几句代码查看下鸢尾花数据集里面的数据是啥。

from sklearn.datasets import load_iris
    
    # 加载数据集(这里使用的是鸢尾花数据集)
    iris = load_iris()
    print(iris)

![20201119194942382.png][]![20201119195006549.png][]

格式有点乱，总体概括下就是包含特征值以及标签值这两大类，其中特征值主要包含：花萼长度（sepal length）、花萼宽度（sepal width）、花瓣长度（petal length）、花瓣宽度（petal width） 标签值主要为：0、1、2

这样看起来不方便，我们就对数据进行一个小小的处理吧。

2.数据处理

对于上面的数据，我们需要的是特征值以及标签值。所以下面我们通过代码来提取我们需要的数据。

import pandas as pd
    from sklearn.datasets import load_iris
    
    # 加载数据集(这里使用的是鸢尾花数据集)
    iris = load_iris()
    # 将iris数据集中的特征属性提取出来
    df = pd.DataFrame(iris.data,columns=iris.feature_names)
    print(df)

运行结果如下：

![2020111919571940.png][]

然后我们在提取标签值：

import pandas as pd
    import matplotlib.pyplot as plt
    from sklearn.datasets import load_iris
    
    # 加载数据集(这里使用的是鸢尾花数据集)
    iris = load_iris()
    # 将iris数据集中的特征属性提取出来
    df = pd.DataFrame(iris.data,columns=iris.feature_names)
    # 将iris中的target作为df的一列
    df['label'] = iris.target
    print(df)

运行结果如下：

![2020111919583145.png][]

我们可以看到上面的运行结果的每一列的列名看起来不是很规范，所以我们自己来修改下：

import pandas as pd
    import matplotlib.pyplot as plt
    from sklearn.datasets import load_iris
    
    # 加载数据集(这里使用的是鸢尾花数据集)
    iris = load_iris()
    #print(iris)
    # 将iris数据集中的特征属性提取出来
    df = pd.DataFrame(iris.data,columns=iris.feature_names)
    # 将iris中的target作为df的一列
    df['label'] = iris.target
    # 给每一列添加备注
    # 行列数据标注
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    print(df)

运行结果如下：

![20201119200023273.png][]

很好，达到我们的要求了，接下来我们需要选取sepal length（花萼长度）和sepal width（花萼宽度）以及label（标签值）作为我们训练的数据，这样做的目的就是为了方便实验，我们将speal length作为x，sepal width 作为y对应坐标轴上不就是（x,y）。通过选取的列我们可视化下他们在坐标轴上的分布

import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn.datasets import load_iris
    
    
    # 加载数据集(这里使用的是鸢尾花数据集)
    iris = load_iris()
    #print(iris)
    # 将iris数据集中的特征属性提取出来
    df = pd.DataFrame(iris.data,columns=iris.feature_names)
    # 将iris中的target作为df的一列
    df['label'] = iris.target
    
    # 给每一列添加备注
    # 行列数据标注
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    
    # 数据可视化展示
    plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], label='0') #选取sepal length和sepal width的前50行数据，并将他们归为标签0
    plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], label='1')  # 选取sepal length和sepal width的后50行数据，并将他们归为标签1
    plt.xlabel('sepal length')
    plt.ylabel('sepal width')
    plt.legend()
    plt.show()

运行结果：

![20201119200632811.png][]

好了，可以看到他们的分布大致是这样的，接下来我们就需要去寻找一个超平面将他们分散，在找超平面之前我们需要找到最优参数w和b

3.提取数据

我们分别将需要的数据特征值以及标签提取出来，并将标签集中不是1的标签设置为-1

# 提取数据的特征和标签(提取第0、1以及最后一列数据的前100行)
    data = np.array(df.iloc[:100, [0, 1, -1]])
    # 提取特征值
    x = data[:,:-1]
    # 提取标签集
    y = data[:,-1]
    # 将标签集中的0变为-1
    y = np.array([1 if i == 1 else -1 for i in y])

![20201119201044420.png][]

4.定义感知机模型

class Model:
        # 初始化参数
        def __init__(self):
            # 初始化权重
            self.w = np.ones(len(data[0]) - 1,np.float32)  # len(data[0]) = 3
            # 初始化偏置
            self.b = 0
            # 初始化步长
            self.lr = 0.01
    
        # 定义符号函数
        def sign(self,x,w,b):
            y = np.dot(x,w) + b
            return y
    
        # 梯度下降
        def gradent(self,x,y):
            is_wrong = False
            while not is_wrong:
                wrong_count = 0
                for i in range(len(x)):
                    x_train = x[i]
                    y_train = y[i]
                    # 判断是否为误分类点
                    if y_train * self.sign(x_train,self.w,self.b) <= 0:
                        # 更新参数
                        self.w = self.w + self.lr * np.dot(y_train,x_train)
                        self.b = self.b + self.lr * y_train
                        # 统计误分类点个数
                        wrong_count += 1
                # 如果没有误分类点，设置为true
                if wrong_count == 0 :
                        is_wrong = True
                # 计算准确率
                accruRate = 1 - (wrong_count / len(x) )
            # 返回更新后的参数
            return self.w,self.b,accruRate

上面的代码如果你看了我的公式推导，并且我还有详细的注释，你是能看懂的。

5.测试

# 创建实例类
    per = Model()
    # 获取更新后的参数w,b
    w,b,accruRate= per.gradent(x,y)
    
    print('accuracy rate is:', accruRate)
    # 创建超平面
    x_points = np.linspace(4, 7, 10)   # 将4到7分成10等分,这个主要根据数据集的大小来划分的
    y_points = -(w[0] * x_points + b) / w[1]  # 主要根据距离公式求得y
    # 可视化超平面
    plt.plot(x_points,y_points)
    
    # 可视化展示
    plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0') # 前50行归为0
    plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1') # 后50行归为1
    plt.xlabel('sepal length')
    plt.ylabel('sepal width')
    plt.legend()
    plt.show()

运行结果：

![20201119201339281.png][]

我觉得上面你们可能这句代码看不懂：

y_points = -(w[0] * x_points + b) / w[1]  # 主要根据距离公式求得y

这个y\_points如何来寻找，这里主要是根据公式：wx + b = 0来推导出来 的（这里的w和x都是向量）

![20201119202059943.png][]

对应我们之间的特征值如下：

![20201119202248847.png][]

之前我们不是说了将speal length作为x，sepal width 作为y对应坐标轴上不就是（x,y），所以这里的X1也就是坐标轴上的y

然后公式可以变换下：

![20201119202540531.png][]

将式子化简下，所以可得：![20201119202747515.png][]

以上就是我个人对感知机算法的一个肤浅的理解，有啥不对的请在评论区交流交流。

[20201119185239951.png]: https://img-blog.csdnimg.cn/20201119185239951.png
[2020111918525668.png]: https://img-blog.csdnimg.cn/2020111918525668.png
[20201119185316407.png]: https://img-blog.csdnimg.cn/20201119185316407.png
[20201119185336331.png]: https://img-blog.csdnimg.cn/20201119185336331.png
[20201119185347332.png]: /images/20221120/a5184cf7394449ec9b2efe2073448223.png
[20201119185508505.png]: /images/20221120/b212def3040041d28ccb333eba2bc93c.png
[20201119185624316.png]: /images/20221120/e2d28a94f28541d7b7f6bd2593034fdc.png
[2020111918584878.png]: /images/20221120/042ef7d6cfbf489c903e62613d6ff471.png
[c194a21c9f131a487fa4ae1d34a78e7d.png]: /images/20221120/4d8f61a26eab4b07b5020229713935db.png
[2020111919251957.png]: https://img-blog.csdnimg.cn/2020111919251957.png
[20201119192533868.png]: /images/20221120/58be2619f55c41afbd55fcefe7bc0985.png
[Link 1]: https://www.pianshen.com/article/52401501492/
[20201119192819838.png]: /images/20221120/76e8bee0ccdd46d4b925f1c8e589d642.png
[20201119193105258.png]: /images/20221120/b0f6b89714fc4eeab87d563b7b30f3e2.png
[20201119193218584.png]: /images/20221120/3e5546c32835433bbd9110f6a82e5cbd.png
[20201119193257242.png]: /images/20221120/23e1b42ee7e346f09c0643e03265a743.png
[20201119193349643.png]: /images/20221120/9b325e24257b4293998e7f7e1c480ff3.png
[20201119193416706.png]: /images/20221120/eee4482418754888bf6fc6fed2e805e3.png
[20201119193543405.png]: /images/20221120/84353386e01d4f6fb7c28480a95b1fed.png
[2020111919372221.png]: /images/20221120/763729740f224d348483005e0164ffb3.png
[20201119193758474.png]: /images/20221120/70d796e571e14a58a4334c593ed21167.png
[20201119193827190.png]: /images/20221120/d953a1da6e63459d96845722c734c2d8.png
[20201119193902656.png]: /images/20221120/6c1cb558f6d54437aac350f07ed7d229.png
[2020111919394549.png]: /images/20221120/6108a0761d0f485ba22870addac4d4e5.png
[20201119194157120.png]: /images/20221120/c173bdaca05547c6b21d46d07ec55b40.png
[20201119194246676.png]: /images/20221120/b54dd17b6428460e9d9e1fbc21cd5376.png
[20201119194316224.png]: /images/20221120/d586b8101fb94b22af014225688a69db.png
[20201119194351127.png]: https://img-blog.csdnimg.cn/20201119194351127.png
[20201119194403699.png]: /images/20221120/f8a9034ccb734fb89242397a23882057.png
[Link 2]: https://www.bilibili.com/video/BV1Pv411z7J4
[20201119194942382.png]: https://img-blog.csdnimg.cn/20201119194942382.png
[20201119195006549.png]: /images/20221120/9165f087c65d4e258207aa3399601d2e.png
[2020111919571940.png]: /images/20221120/9db469552f634516964385e817ee6e3b.png
[2020111919583145.png]: /images/20221120/c25418e475db4b5d81f0eba0384be562.png
[20201119200023273.png]: /images/20221120/50256bdf1a9a40d18bc0b16e147db863.png
[20201119200632811.png]: /images/20221120/1f36cb6ef06b4dd18d2c25d675b9f057.png
[20201119201044420.png]: /images/20221120/157e11cb8398454b9cc63573ede5cedc.png
[20201119201339281.png]: /images/20221120/f467f5d4d82747ef89a99903b3cecc2b.png
[20201119202059943.png]: /images/20221120/cca0332dc21b46bca03472e88040ce2c.png
[20201119202248847.png]: /images/20221120/1eea087a12a14cd28d9babb1d5b63589.png
[20201119202540531.png]: /images/20221120/68d643514e4c4b3fa10ef37d3d7af5e9.png
[20201119202747515.png]: /images/20221120/5de3949a13934f6ebb3657c194759a0f.png