【机器学习西瓜书阅读笔记】（五）神经网络学习+sklearn实现手写数字识别（MLP）

短命女 2022-11-21 11:35 382阅读 0赞

### 目录 ###

*   *  思维导图
     *  什么是神经网络
     *   *  M-P神经元模型
         *   *  激活函数
             *   *  1、阶跃函数
                 *  2、Sigmoid函数
                 *  3、ReLU函数
         *  感知机与多层神经网络
         *   *  感知机很容易实现逻辑与、或、非运算
     *  神经网络核心方法
     *   *  误差逆传播算法
     *  神经网络在训练过程中的参数寻优
     *   *  全局最小与局部极小
     *  sklearn实现手写数字识别（MLP）
     *  参考

> PS：由于能力有限，本篇阅读笔记可能会有许多理解不够深入的地方，如有错误，还望指正！

## 思维导图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center]

## 什么是神经网络 ##

> 机器学习中谈论的神经网络指的是“神经网络学习”，即机器学习与神经网络两个学科交叉部分，神经网络最基本的成分是神经元（neuron）模型

### M-P神经元模型 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 1]

*  x1、x2、x3…xn：输入
 *  w1、w2、w3…：权值
 *   θ \\theta θ：阈值
 *  f：激活函数（非线性变换）
 *  x和w经过线性组合和常数项 θ \\theta θ通过非线性变换来输出
 *  例如y>0 输出1，y<0 输出0

#### 激活函数 ####

##### 1、阶跃函数 #####

> 要么激活1，要么抑制0，但不连续不光滑（缺点）

![在这里插入图片描述][20201101121449454.png_pic_center]

##### 2、Sigmoid函数 #####

> 0～1之间，可微连续

![在这里插入图片描述][20201101121524333.png_pic_center]

##### 3、ReLU函数 #####

> 由于Sigmoid函数随着x变大，斜率会变的非常小，从而导致计算复杂，ReLU函数既含有非线性，而且计算简洁，使得神经网络中的神经元具有稀疏激活性，所有使用更加广泛。读者可参考这篇文章写的比较好理解ReLU：https://www.jianshu.com/p/338afb1389c9

![在这里插入图片描述][20201101121619326.png_pic_center]

### 感知机与多层神经网络 ###

> 感知机（Perceptron）由两层神经元组成，又称“阈值逻辑单元”。

![在这里插入图片描述][20201101153550634.png_pic_center]

*  x1和x2通过w1、w2线性组合，再由上图中间节点非线性变换

#### 感知机很容易实现逻辑与、或、非运算 ####

前提：f为阶跃函数，y = f( Σ \\Sigma Σwixi- θ \\theta θ)

**1、与运算**  
w1 = w2 = 1 ， θ \\theta θ = 2，则y = f(1 \* X1+1 \* X2 - 2)，由于是阶跃函数，**仅**当x1=x2=1时 y=1

**2、或运算**  
w1 = w2 = 1 ， θ \\theta θ = 0.5，则y = f(1 \* X1+1 \* X2 - 0.5)，由于是阶跃函数，当x1=1或x2=1时 y=1

**3、非运算**  
w1 = -0.6 w2 = 0 ， θ \\theta θ = -0.5，则y = f(-0.6 \* X1 + 0.5)，由于是阶跃函数，当x1=1时 y=0 ， x1=0时y=1

单层感知机只能解决与或非问题（线性可分），而对于非线性可分的异或问题，则需要考虑多层功能神经元（简单的两层感知机就能解决“异或问题”），如下图，输出层和输入层之间加了一个隐含层，隐含层和输出层都拥有激活函数的功能的神经元

![在这里插入图片描述][20201101155810764.png_pic_center]

以下是线性可分和非线性可分问题的图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 2]  
由此可引出常见的神经网络：多层前馈神经网络  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 3]

## 神经网络核心方法 ##

### 误差逆传播算法 ###

> 神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（error BackPropagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法

下图为一个BP网络  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 4]  
假设隐含层和输出层神经元都使用Sigmoid函数，对训练例（Xk，Yk），假定神经元输出为![在这里插入图片描述][20201101162559517.png_pic_right_pic_center]  
即：![在这里插入图片描述][20201101162656724.png_pic_center]  
网络上的均方误差为：![在这里插入图片描述][20201101162821565.png_pic_center]

*  y(hat)：最终输出
 *  y：模型数据
 *  希望每个输出误差极小

BP算法是基于梯度下降策略（https://blog.csdn.net/qq\_41800366/article/details/86583789），以目标的负梯度方向对参数进行调整，误差Ek，给定学习率 η \\eta η，负号为梯度下降方向  
![在这里插入图片描述][20201101163503271.png_pic_center]  
根据链式法则  
![在这里插入图片描述][20201101163722399.png_pic_center]  
根据 β \\beta βj在BP网络图中的定义，可得：  
![在这里插入图片描述][20201101164215582.png_pic_center]  
根据上面的输出值和均方误差可得：  
![在这里插入图片描述][20201101164358456.png_pic_center]

## 神经网络在训练过程中的参数寻优 ##

### 全局最小与局部极小 ###

![在这里插入图片描述][20201101165122386.png_pic_center]

如图为全局最小和局部极小示意图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 5]

如何跳出局部极小，尽可能接近全局最小？

1、多找几次，取最小

2、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小（PS：但也可能跳出全局最小，有风险）

3、使用随机梯度下降，在计算梯度时加入了随机因素。

4、利用遗传算法

等等…

--------------------

## sklearn实现手写数字识别（MLP） ##

1、所需要的第三方包

from sklearn import datasets
    import matplotlib.pyplot as plt
    from sklearn.model_selection import train_test_split#用于划分训练集和测试集
    from sklearn.neural_network import MLPClassifier # 多层感知机模型

2、得到手写数字的数据集

digits = datasets.load_digits()# 得到手写数字的数据集
    print(digits.data.shape)#样本数和特征数
    print(digits.target.shape)#标签数
    print(digits.images.shape)#图片8*8

![在这里插入图片描述][20201101201430966.png_pic_left]

3、绘制手写数据集的图

#绘制手写数据集的图
    def draw():
        #显示前面36个
        for i in range(36):
            plt.subplot(6,6,i+1)#以6行6列进行显示，并从1开始（i=0）
            plt.imshow(digits.images[i])#图片绘制
        plt.show()#图片显示
        pass
    draw()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_left]

4、定义数据、构建模型

x = digits.data# 获取特征数据
    y = digits.target# 获取标签数据
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2)# 20%作为测试集
    
    # 构建mlp模型
    mlp = MLPClassifier(hidden_layer_sizes=(300,),
                       activation='relu')
    mlp.fit(x_train,y_train)#训练模型
    y_predict = mlp.predict(x_test)#得到预测结果
    print(y_predict)#预测结果
    print(y_test)#真实结果
    score = mlp.score(x_test,y_test)
    print(score)

得到结果如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 6]

关于MLPClassifier参数解析可移步：https://blog.csdn.net/weixin\_38278334/article/details/83023958

## 参考 ##

\[梯度下降\]：https://blog.csdn.net/qq\_41800366/article/details/86583789  
\[激活函数之ReLU\]：https://www.jianshu.com/p/338afb1389c9  
\[MLPClassifier参数解析\]：https://blog.csdn.net/weixin\_38278334/article/details/83023958  
\[sklearn之多层感知机\]：http://www.scikitlearn.com.cn/0.21.3/18/  
\[西瓜书\]：周志华著

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/340978d1d0aa4ff5b577abf771ef333b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/c7e43182328d4642a7bbe2ddb2649acc.png
[20201101121449454.png_pic_center]: /images/20221120/4b62196456914a69bbba249c909b61b1.png
[20201101121524333.png_pic_center]: /images/20221120/b9b67d98a8534e69ab8116c114c482b5.png
[20201101121619326.png_pic_center]: /images/20221120/11b0162e37654786851041e2a286c6f1.png
[20201101153550634.png_pic_center]: /images/20221120/ae58ae85604b4cf68828b23a73b7eddf.png
[20201101155810764.png_pic_center]: /images/20221120/e9fdbf0ba2af49cfadd907e90eff459f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/1cce34f2f11d4330a185a7939416f889.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/883eed44966e4ca8b2305395854f97b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/5f4ed8e84f9549ccbb59e37cec9fff76.png
[20201101162559517.png_pic_right_pic_center]: /images/20221120/3c40049fd2d1478c8dc5d7e246606480.png
[20201101162656724.png_pic_center]: /images/20221120/88108cf115fe43f5827fb8d1bd94575e.png
[20201101162821565.png_pic_center]: /images/20221120/3d3628e02cff4f38afe22f5313d4dcdd.png
[20201101163503271.png_pic_center]: /images/20221120/b906d5211a1344ceb133c1834589e787.png
[20201101163722399.png_pic_center]: /images/20221120/47dbd5c72fcf434a85740841d9c7b3be.png
[20201101164215582.png_pic_center]: /images/20221120/911eb1093ad242a9aff3d1366bce2eaf.png
[20201101164358456.png_pic_center]: /images/20221120/6b320996d1274bb0943cbb00b0f01ec6.png
[20201101165122386.png_pic_center]: /images/20221120/b9f15f705074427a8f23c818d271d48c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221120/0c53b0ee6cd54c90a46fe975adf3f664.png
[20201101201430966.png_pic_left]: /images/20221120/0174e06d20054638be0bef4ff24682e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_left]: /images/20221120/b7d2435b65cb4a53848372f370e8ca61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfbGludXg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221120/a8fa172902f0482ea8401386fc433706.png