Spark 机器学习库【MLlib】编程指南

心已赠人 2023-02-20 06:25 51阅读 0赞

## 一.机器学习库 ##

MLlib是Spark的机器学习库【ML】。其目标是使实用的机器学习算法变得可扩展且容易使用。在较高级别，它提供了以下工具：

*  机器学习算法：常见的机器学习算法，例如分类，回归，聚类和协同过滤。
 *  特征化：特征提取，变换，降维和选择。
 *  管道：用于构建，评估和调整ML管道的工具。
 *  持久性：保存和加载算法、模型和管道。
 *  实用程序：线性代数，统计信息，数据处理等。

## 二.基于DataFrame的API ##

基于MLlib RDD的API现在处于维护模式。

从Spark 2.0开始，软件包中基于RDD的API spark.mllib 已进入维护模式。现在，用于Spark的主要机器学习API是软件包中基于DataFrame的API **spark.ml**。

这意味着什么？

*  MLlib仍将通过错误修复的方式使用spark.mllib支持基于RDD的API 。
 *  MLlib不会向基于RDD的API添加新功能。
 *  在Spark 2.x发行版中，MLlib将向基于DataFrames的API添加功能，以与基于RDD的API达到功能奇偶。

为什么MLlib切换到基于DataFrame的API？

*  与RDD相比，DataFrames提供了更加用户友好的API。DataFrames的许多好处包括Spark数据源、SQL查询、Tungsten和Catalyst优化以及跨语言的统一API。
 *  用于MLlib的基于DataFrame的API为ML算法和多种语言提供了统一的API。
 *  DataFrame促进了实用的ML管道，特别是功能转换。

MLlib是否已弃用？

否。MLlib同时包含基于RDD的API和基于DataFrame的API。基于RDD的API现在处于维护模式。但是既不弃用API，也不弃用MLlib。

## 三.依存关系 ##

MLlib使用线性代数软件包Breeze，该软件包依赖 netlib-java进行优化的数值处理。如果本地库在运行时不可用，将看到一条警告消息，转而使用纯JVM实现。

由于运行时专有二进制文件存在许可问题，因此netlib-java默认情况下，不包含的本机代理。要配置netlib-java/Breeze使用系统优化的二进制文件，请包含 com.github.fommil.netlib:all:1.1.2（或使用构建Spark -Pnetlib-lgpl）作为项目的依赖项，并阅读netlib-java文档以获取平台的其他安装说明。

最受欢迎的本机BLAS（例如Intel MKL，OpenBLAS）可以在单个操作中使用多个线程，这可能与Spark的执行模型冲突。

将这些BLAS实现配置为使用单个线程进行操作实际上可以提高性能。通常，最好将此配置与每个Spark任务配置为使用相同的内核数，默认为1，通常保留为1。

请注意，如果系统中未正确配置nativeBLAS，则将使用java实现（f2jBLAS）作为后备选项。

要在Python中使用MLlib，您将需要NumPy 1.4版或更高版本。

## 四.Spark3.0新特性 ##

Spark3.0版本中添加到MLlib的一些新功能和增强功能：

*  多列支持已添加到Binarizer、StringIndexer、StopWordsRemover和PySpark QuantileDiscretizer。
 *  添加了基于树的特征转换。
 *  添加了两个新的评估器MultilabelClassificationEvaluator和RankingEvaluator。
 *  在DecisionTreeClassifier/Regressor、RandomForestClassifier/Regressor、GBTClassifier/Regressor、 MulticlassClassificationEvaluator、RegressionEvaluator、BinaryClassificationEvaluator、BisectingKMeans、KMeans和GaussianMixture添加样本权重支持。
 *  PowerIterationClustering添加了R API 。
 *  添加了Spark ML侦听器，用于跟踪ML管道状态。
 *  适合的验证集已添加到Python的Gradient Boosted Trees中。
 *  RobustScaler添加了变压器。
 *  Factorization Machines添加了分类器和回归器。
 *  添加了高斯朴素贝叶斯分类器和互补朴素贝叶斯分类器。
 *  Scala和Python之间的ML函数奇偶校验。
 *  predictRaw在所有分类模型中公开。predictProbability在LinearSVCModel 以外的所有分类模型中公开。