R语言实现拟合神经网络; 神经网络包

朱雀 2021-12-15 02:29 436阅读 0赞

神经网络一直是迷人的机器学习模型之一，不仅因为花哨的反向传播算法，而且还因为它们的复杂性（考虑到许多隐藏层的深度学习）和受大脑启发的结构。

神经网络并不总是流行，部分原因是它们在某些情况下仍然存在计算成本高昂，部分原因是与支持向量机（SVM）等简单方法相比，它们似乎没有产生更好的结果。然而，神经网络再一次引起了人们的注意并变得流行起来。

在这篇文章中，我们将使用`neuralnet`包装拟合一个简单的神经网络，并将线性模型作为比较。

## **数据集** ##

我们将在MASS包中使用Boston数据集。  
波士顿数据集是波士顿郊区房屋价值数据的集合。我们的目标是使用所有其他可用的连续变量来预测自住房屋（medv）的中值。

![点击并拖拽以移动][Image 1]

首先，我们需要检查是否缺少数据点，否则我们需要修复数据集。

apply（data，2，function（x）sum（is.na（x）））

![点击并拖拽以移动][Image 1]

没有遗漏数据，很好。我们通过随机将数据分成火车和测试集来进行，然后我们拟合线性回归模型并在测试集上进行测试。请注意，我正在使用该`gml()`函数而不是`lm()`这将在以后交叉验证线性模型时变得有用。

index < -  sample（1：nrow（data），round（0.75 * nrow（data）））
       MSE.lm < -  sum（（pr.lm  -  test $ medv）^ 2）/ nrow（test）

![点击并拖拽以移动][Image 1]

该`sample(x,size)`函数简单地从向量输出指定大小的随机选择样本的向量`x`。默认情况下，采样无需替换：`index`本质上是一个随机的indeces向量。

**准备适应神经网络**

在拟合神经网络之前，需要做一些准备工作。神经网络不容易训练和调整。

作为*第一步*，我们将解决数据预处理问题。  
在训练神经网络之前规范化数据是一种很好的做法。我无法强调这一步骤的重要性：根据您的数据集，避免标准化可能会导致无用的结果或非常困难的训练过程（大多数情况下算法在允许的最大迭代次数之前不会收敛）。您可以选择不同的方法来缩放数据（z-normalization，min-max scale等）。我选择使用min-max方法并在区间\[0,1\]中缩放数据。通常在区间\[0,1\]或\[-1,1\]中缩放往往会产生更好的结果。  
因此，我们在继续之前缩放和分割数据：

maxs < -  apply（data，2，max） 
     scaled < -  as.data.frame（scale（data，center = mins，scale = maxs  -  mins））
    train_ < -  scaled [index，]
    test_ < -  scaled [-index，]

![点击并拖拽以移动][Image 1]

请注意，`scale`返回需要强制转换为data.frame的矩阵。

## **参数** ##

据我所知，虽然有几个或多或少可接受的经验法则，但没有固定的规则可以使用多少层和神经元。通常，如果有必要，一个隐藏层足以满足大量应用程序的需要。就神经元的数量而言，它应该在输入层大小和输出层大小之间，通常是输入大小的2/3。至少在我的简短经验中，一次又一次的测试是最好的解决方案，因为无法保证这些规则中的任何一个最适合您的模型。  
由于这是一个玩具示例，我们将使用此配置使用2个隐藏层：13：5：3：1。输入层有13个输入，两个隐藏层有5个和3个神经元，输出层当然是单个输出，因为我们正在进行回归。

f < -  as.formula（paste（“medv~”，paste（n [！n％in％“medv”]，collapse =“+”）））
    nn < -  neuralnet（f，data = train_，hidden = c（5,3），linear.output = T）

![点击并拖拽以移动][Image 1]

### **几个笔记：** ###

*  由于某种原因`y~.`，该`neuralnet()`函数不接受该公式。您需要先编写公式，然后将其作为拟合函数中的参数传递。
 *  该`hidden`参数接受一个包含每个隐藏层的神经元数量的向量，而该参数`linear.output`用于指定我们是否要进行回归`linear.output=TRUE`或分类`linear.output=FALSE`

Neuralnet包提供了绘制模型的好工具：

plot（nn）

![点击并拖拽以移动][Image 1]

这是模型的图形表示，每个连接都有权重：  
[![Rplot][]][Rplot 1]![点击并拖拽以移动][Image 1]

黑色线条显示每个层与每个连接上的权重之间的连接，而蓝线显示每个步骤中添加的偏差项。偏差可以被认为是线性模型的截距。  
网基本上是一个黑盒子，所以我们不能说拟合，重量和模型。可以说训练算法已经收敛，因此可以使用该模型。

## **使用神经网络预测medv** ##

现在我们可以尝试预测测试集的值并计算MSE。请记住，网络将输出标准化预测，因此我们需要将其缩小以进行有意义的比较（或仅仅是简单的预测）。

pr.nn < -  compute（nn，test _ [，1：13]）
    pr.nn_ < -  pr.nn $ net.result *（max（data $ medv）-min（data $ medv））+ min（data $ medv）
    test.r < - （test_ $ medv）*（max（data $ medv）-min（data $ medv））+ min（data $ medv）
    MSE.nn < -  sum（（test.r  -  pr.nn _）^ 2）/ nrow（test_）

![点击并拖拽以移动][Image 1]

然后我们比较两个MSE

显然，在预测medv时，网络比线性模型做得更好。再一次，要小心，因为这个结果取决于上面执行的列车测试分割。下面，在视觉图之后，我们将进行快速交叉验证，以便对结果更有信心。  
下面绘制了网络性能和测试集上的线性模型的第一种可视方法

plot（test $ medv，pr.nn_，col ='red'，main ='Real vs expected NN'，pch = 18，cex = 0.7）
    abline（0,1，LWD = 2）
    legend（'bottomright'，legend ='NN'，pch = 18，col ='red'，bty ='n'）
    plot（test $ medv，pr.lm，col ='blue'，main ='Real vs expected lm'，pch = 18，cex = 0.7）
    abline（0,1，LWD = 2）
    legend（'bottomright'，legend ='LM'，pch = 18，col ='blue'，bty ='n'，cex = .95）

![点击并拖拽以移动][Image 1]

输出图  
[![Rplot01][]][Rplot01 1]![点击并拖拽以移动][Image 1]  
通过目视检查图，我们可以看到神经网络的预测（通常）在线周围更加集中（与线的完美对齐将表明MSE为0，因此是理想的完美预测），而不是由线性模型。

下面绘制了一个可能更有用的视觉比较：  
[![Rplot05][]][Rplot05]![点击并拖拽以移动][Image 1]

## ** 交叉验证** ##

交叉验证是构建预测模型的另一个非常重要的步骤。虽然有不同类型的交叉验证方法

然后通过计算平均误差，我们可以掌握模型的运作方式。

我们将使用神经网络的for循环和线性模型`cv.glm()`的`boot`包中的函数来实现快速交叉验证。  
据我所知，R中没有内置函数在这种神经网络上进行交叉验证，如果你知道这样的函数，请在评论中告诉我。以下是线性模型的10倍交叉验证MSE：

lm.fit < - glm（medv~。，data = data）

![点击并拖拽以移动][Image 1]

请注意，我正在以这种方式分割数据：90％的训练集和10％的测试集以随机方式进行10次。我也正在使用`plyr`库初始化进度条，因为我想要密切关注过程的状态，因为神经网络的拟合可能需要一段时间。

过了一会儿，过程完成，我们计算平均MSE并将结果绘制成箱线图

cv.error
    10.32697995
    17.640652805 6.310575067 15.769518577 5.730130820 10.520947119 6.121160840
    6.389967211 8.004786424 17.369282494 9.412778105

![点击并拖拽以移动][Image 1]

上面的代码输出以下boxplot：  
[![Rplot03][]][Rplot03]![点击并拖拽以移动][Image 1]

如您所见，神经网络的平均MSE（10.33）低于线性模型的MSE，尽管交叉验证的MSE似乎存在一定程度的变化。这可能取决于数据的分割或网络中权重的随机初始化。通过使用不同的种子运行模拟不同的时间，您可以获得更精确的平均MSE点估计。

## **关于模型可解释性的最后说明** ##

神经网络很像黑盒子：解释它们的结果要比解释简单模型（如线性模型）的结果要困难得多。因此，根据您需要的应用程序类型，您可能也想考虑这个因素。此外，正如您在上面所看到的，需要格外小心以适应神经网络，小的变化可能导致不同的结果。

## 非常感谢您阅读本文，有任何问题请联系我们！ ##

[大数据部落][Link 1] -中国专业的第三方数据服务提供商，提供定制化的一站式数据挖掘和统计分析咨询服务

统计分析和数据挖掘咨询服务：[y0.cn/teradat][Link 1]（咨询服务请联系[官网客服][Link 2]）

![点击并拖拽以移动][Image 1][![点击这里给我发消息][pa_p_2_3025393450_51]][pa_p_2_3025393450_51 1]QQ：3025393450

![点击并拖拽以移动][Image 1]

**【服务场景】  **

科研项目; 公司项目外包;线上线下一对一培训;数据采集;学术研究;报告撰写;市场调查。

**【大数据部落】**提供定制化的一站式数据挖掘和统计分析咨询

![831855-20190618183258330-1394656387.jpg][]

转载于:https://www.cnblogs.com/tecdat/p/10913634.html

[Image 1]: 
[Rplot]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot3-490x387.png
[Rplot 1]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot3.png
[Rplot01]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot012-490x296.png
[Rplot01 1]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot012.png
[Rplot05]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot051.png
[Rplot03]: https://datascienceplus.com/wp-content/uploads/2015/09/Rplot031.png
[Link 1]: http://y0.cn/teradat
[Link 2]: http://dwz.cn/YntAj
[pa_p_2_3025393450_51]: http://wpa.qq.com/pa?p=2:3025393450:51
[pa_p_2_3025393450_51 1]: /images/20211214/29f1a5b1005e4e6eae9e3b1753ae25d1.png
[831855-20190618183258330-1394656387.jpg]: /images/20211214/8c69df62cde94d91ae7db4a81ca2593b.png