spark mllib svm java_Spark-MLlib-SVM源码实现分析

悠悠 2022-11-11 05:10 169阅读 0赞

注：MLlib中的SVM只实现了线性二分类。没有非线性(核函数)，也没有多分类和回归。线性二分类的优化过程类似于逻辑回归。以下从三个方面进行分析：(一)SVM的目标函数、损失函数和最优化方法。(二)从MLlib实现的源码分析模型创建以及优化的过程。(三)参考ML中NaiveBayes的实现，探索SVM-Pipeline的实现思路。

一、SVM 公式

1.1 目标函数目标函数：\*\* y = wx \*\*

(注：w是超平面的法向量)

1.2 损失函数损失函数：HingeGradient

公式：\*\* avg( max(0, 1 - (2 y - 1) f\_w(x))) )\*\*

(注：0 1分类label，在svm中要转为 -1，1

1.3 优化函数(随机梯度下降)梯度：\*\* -(2y - 1) \* x \*\*

正则项：\*\* L2 = (1/2) \* w^2 \*\*

梯度更新方法：\*\* weight = weight - lambda (gradient + regParam \* weight) \*\*

二、MLlib源码实现分析

下图是SVMWithSGD的类图，SVMWithSGD继承了GeneralizdLinearAlgorithm。run()方法会调用optimitor：GradientDescent(gradient, updater)优化得到模型的权值参数weights，并调用createModel(weights)方法new一个SVMModel，返回SVMModel。

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

SVMWithSGD类图

2.1 创建SVM模型入口

2.1.1 SVMWithSGD 伴生对象(单例对象)

org.apache.spark.mllib.classification.SVMWithSGD

线性SVM伴生对象是SVMWithSGD，是建立SVM分类模型的入口。它定义了训练SVM分类模型的train方法。

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

2.1.2 GeneralizdLinearAlgorithm的run执行模型训练

org.apache.spark.mllib.regression.GeneralizdLinearAlgorithm

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

2.2 SVMWithSGD 类设置损失函数-最优化方法

org.apache.spark.mllib.classification.SVMWithSGD

分别创建\*\* 梯度下降方法HingeGradient \*\* 和 \*\* L2正则化权重更新方法SquaredL2Updater\*\*，两者封装在GradientDescent中，作为优化器optimizer。

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

2.2.1 HingeGradient

org.apache.spark.mllib.optimization.HingeGradient

损失函数：max(0, 1 - (2 y - 1) f\_w(x)))

梯度：-(2y - 1) \* x

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

2.2.2 SquaredL2Updater

org.apache.spark.mllib.optimization.SquaredL2Updater

梯度更新方法：\*\* weight = weight - lambda (gradient + regParam \* weight) \*\*

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

2.3 优化过程的入口：GradientDescentorg.apache.spark.mllib.optimization.GradientDescent

迭代优化的过程如下：

while( 未收敛 并且 小于迭代次数 ) \{

计算本次迭代抽样样本的梯度和，以及损失和(调用HingeGradient)

记录本次迭代的平均误差(loss)

更新权重(调用SquaredL2Updater)

判断是否收敛

\}

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

三、Pipeline实现探索

Spark MLlib的Pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法；其出现旨在向用户提供基于 DataFrame 之上的更加高层次的 API 库，以便构建复杂的机器学习工作流式应用。

一个 Pipeline 在结构上会包含一个或多个 PipelineStage，每一个 PipelineStage 都会完成一个任务，如数据集处理转化，模型训练，参数设置或数据预测等。

3.1 参考NaiveBayes

3.1.1 R->pkg->R->mllib.R

mllib.R中将NaiveBayesWrapper封装为sparkR中的naiveBayes方法

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

3.1.2 NaiveBayesWrapper生成一个Pipeline

org.apache.spark.ml.r.NaiveBayesWrapper

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

3.1.3 NaiveBayes

org.apache.spark.ml.classification.NaiveBayes

\*\*将dataset转成RDD，并New一个MLlib中的NaiveBayes来训练模型 \*\*

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

![AAffA0nNPuCLAAAAAElFTkSuQmCC][]

3.2 SVM-Pipeline思考

参照以上NaiveBayes的实现，需要在R中的mllib.R中实现一个setMethod的方法，以及在ML里实现\*\* SVMWithSGD 类和 SVMWithSGDWrapper \*\*类。

作者：SiyueLin

链接：https://www.jianshu.com/p/a59a53cf8780

[AAffA0nNPuCLAAAAAElFTkSuQmCC]:

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark MLlib

基本概念 1. 项不项集这是一个集合的概念，在一篮子商品中的一件消费品即一项（item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项

矫情吗；*/ 2022年12月17日 15:54/ 0 赞/ 184 阅读

相关 Spark MLlib之管道

一.ML管道 ML管道提供基于DataFrame的统一高级API集，可帮助用户创建和调整实用的机器学习管道。二.管道中的主要概念 MLlib对用于机器学习算法的

た入场券/ 2022年12月05日 12:26/ 0 赞/ 185 阅读

相关 spark mllib svm java_Spark-MLlib-SVM源码实现分析

注：MLlib中的SVM只实现了线性二分类。没有非线性(核函数)，也没有多分类和回归。线性二分类的优化过程类似于逻辑回归。以下从三个方面进行分析：(一)SVM的目标函数、损失函

悠悠/ 2022年11月11日 05:10/ 0 赞/ 170 阅读

相关 Spark MLlib 实现音乐推荐代码解

Spark MLlib 实现音乐推荐一、准备数据 1.1 了解数据集 1.2 读取数据 1.

太过爱你忘了你带给我的痛/ 2022年10月17日 01:53/ 0 赞/ 272 阅读

相关 Spark Shuffle机制-源码实现

. 一 .前言二 .Shuffle Write框架设计和实现 2.1. BypassMergeSortShuffleWriter

小咪咪/ 2022年10月12日 12:16/ 0 赞/ 168 阅读

相关 Spark MLlib 学习资料

[Spark MLlib ][Spark MLlib] http://blog.csdn.net/sunbow0 http://blog.csdn.net/s

傷城~/ 2022年07月15日 11:41/ 0 赞/ 215 阅读

相关 Spark MLlib简介

Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因：（1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够

秒速五厘米/ 2022年06月14日 21:16/ 0 赞/ 196 阅读

相关 1 Spark机器学习 spark MLlib 入门

开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLl

谁借莪１个温暖的怀抱￠/ 2022年05月12日 10:16/ 0 赞/ 233 阅读

相关 spark源码分析

rdd变换： textfile（）加载文件：返回hadoopRDD（创建HadoopRDD之前，先将hadoopConfiguration进行广播）调用map

喜欢ヅ旅行/ 2022年04月25日 03:26/ 0 赞/ 233 阅读

相关 Spark源码分析 - Spark CommitCoordinator 保证数据一致性

概述 Spark 输出数据到 HDFS 时，需要解决如下问题：由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文件要么同时对外可

青旅半醒/ 2022年03月15日 17:54/ 0 赞/ 316 阅读