基于spark_streaming的logistic流式机器学习

梦里梦外; 2022-09-20 15:20 198阅读 0赞

在前期搭建好spark、scala平台和学习基于python的logistic流式机器学习例程后，这一周正式基于spark做一个基于logistic的流式机器学习的实现。

**一、spark streaming例程**

首先尝试spark streaming指导手册中自带的例程（链接http://spark.apache.org/docs/latest/streaming-programming-guide.html），由于网上的例子比较详细，在此不过多阐述，例程主要实现的是基于流数据的单词统计功能的实现，通过不断向本机的9999端口发送英文单词，spark streaming的NetworkWordCount例程则按照一定的频率对接收到的数据按照单词出现的次数进行统计，并打印出来。如下图所示。

![SouthEast][]

**二、给spark streaming发送数据**

由于我们要实现基于logistic模型的流式学习得将学习的数据库通过TCP网络发往spark streaming端，因此我们通过C语言编写一个读取数据文件并开启TCP端口侦听spark streaming的连接，连接成功后再不断地向spark streaming端发送数据。

数据发送端的程序流程图如下图所示。

![SouthEast 1][]

**三、logistic回归的数据集**

数据集我们采用UCI（加州大学欧文分校）机器学习数据中心提供的数据，我们首先采用了一份比较小的数据集，包含了699个样本

（链接[http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29][http_archive.ics.uci.edu_ml_datasets_Breast_Cancer_Wisconsin_28Diagnostic_29]）

关于数据集一小部分见下截图。

![SouthEast 2][]

每一列的含义见下

![SouthEast 3][]

由于我们的logistic回归模型不对id号进行学习，并且不能有missing value，因此将id的那一列删除，将missing value替换为0。

**四、基于spark streaming的logistic流式机器学习**

我们编写的基于spark streaming的流式Logistic回归的代码流程图如下

![SouthEast 4][]

注意我们没有用纯粹的随机梯度下降法，即每次梯度下降的迭代只随机取一个数据计算梯度。而是取一个batch的数据进行多次梯度下降，其初始的参数是上一个batch数据得到的输出。之所以这样设计，是因为纯粹的随机梯度下降法并不稳定，容易受外点的数据影响。假如训练数据中有一些外点，用随机梯度下降会在外点的这一步得到一个错误的梯度，把结果引向一个错误的方向，而需要接下来的几个非外点的数据，将方向重新导回正确的方向，因此一个外点会导致数个数据是无效的。而使用一个batch进行多次梯度下降，每一个batch的迭代本身具有一定的抗外点的性能，因此不会对结果造成太大的影响。

此结构参考了spark中LogisticRegressionWithSGD函数，它也是对一个batch进行Logistic回归，不同的是，我们的流式Logistic回归的数据是从streaming中读入的。

为了测试我们算法的有效性，我们选择了网站[http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29的数据集，其中包含699][http_archive.ics.uci.edu_ml_datasets_Breast_Cancer_Wisconsin_28Diagnostic_29_699]个数据。将其中80%的数据作为训练，20%的数据作为测试。训练的batch的大小50，梯度下降的步长为0.05，每个batch的梯度下降的迭代次数为50次，每用一个batch进行训练之后，我们都用测试集进行测试，计算错误率。其结果如下图所示：

![SouthEast 5][]

可以看到，前几个batch训练后，由于训练数据不够，结果不太稳定，当训练数据越来越多后，错误率总体趋于稳定，也证明了我们的流式Logistic回归是有效的。

本代码可以在我们的项目主页下的StreamingLogisticRegression目录下找到，其中包含了源码，可执行文件，和数据集。

[SouthEast]: /images/20220823/3f98b6b109e94d49ba6355a34807d7f7.png
[SouthEast 1]: /images/20220823/9167ee86de5c4971a563d2a6db328784.png
[http_archive.ics.uci.edu_ml_datasets_Breast_Cancer_Wisconsin_28Diagnostic_29]: http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29
[SouthEast 2]: /images/20220823/d7f452504e17414493ccb63de956c873.png
[SouthEast 3]: /images/20220823/dc1c74cdc2d146f0942fd63687f8a832.png
[SouthEast 4]: /images/20220823/d4ee13eeaddd4d9fb8a42134783f6030.png
[http_archive.ics.uci.edu_ml_datasets_Breast_Cancer_Wisconsin_28Diagnostic_29_699]: http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29的数据集，其中包含699
[SouthEast 5]: /images/20220823/a5da00ebd8304bec94f9adf1bea1bce2.png