Spark MLlib 官方指南手册中文版

朱雀 2022-10-30 12:26 274阅读 0赞

**Spark机器学习库(MLlib)指南**

MLlib是Spark里的机器学习库。它的目标是使实用的机器学习算法可扩展并容易使用。它提供如下工具：

1.机器学习算法：常规机器学习算法包括分类、回归、聚类和协同过滤。

2.特征工程：特征提取、特征转换、特征选择以及降维。

3.管道：构造、评估和调整的管道的工具。

4.存储：保存和加载算法、模型及管道

5.实用工具：线性代数，统计，数据处理等。

＊注意：主要接口为基于数据框的接口，基于RDD的接口目前处于维护模式。

在Spark2.0中，spark.mllib包中的RDD接口已进入维护模式。现在主要的机器学习接口为spark.ml包中的基于数据框接口。

*       这一转变包含哪些信息？*

1.MLlib将继续在spark.mllib中支持基于RDD的接口。

2.MLlib不会向基于RDD的接口中继续添加新的特征。

3.在Spark2.0以后的版本中，将继续向基于数据框的接口添加新特征以缩小与基于RDD接口的差异。

4.当两种接口之间达到特征相同时（初步估计为Spark2.2），基于RDD的接口将被废弃。

5.基于RDD的接口将在Spark3.0中被移除。

*       为什么MLlib转向数据框接口？*

1.数据框可以提供比RDD更容易掌握使用的接口。数据框的主要优点包括Spark数据源来源、结构化查询语言的数据框查询、各编程语言之间统一的接口。

2.基于数据框的MLlib接口为多种机器学习算法与编程语言提供统一的接口。

3.数据框有助于实现机器学习管道，特别是特征转换。管道指南中可查看详细信息。

**       调用信息**

MLlib使用线性代数包Breeze，Breeze使用Netlib-java来优化数值问题。如果运行时本地包不可用，你将看到一个警告提示信息，然后使用纯虚拟机进行处理。

考虑到运行二进制问题时的证书许可问题，我们默认不使用netlib-java的本地代理。安装netlib-java/Breeze来使用系统二进优化，请阅读netlib-java官方文档来获得安装说明。

基于Python语言使用MLlib，需要安装1.4以上版本Nnmpy。

**中文指南目录 **

## **点击对应章节查看详细** ##

**[1 管道 ][1]  **

**2特征提取、特征变换、特征选择**

**[2.1 特征提取][2.1]**

[2.1.1 词频－逆向文件频率（TF-IDF）][2.1]

[2.1.2 Word2Vec][2.1]

[2.1.3 计数向量器][2.1]

**[2.2 特征变换][2.2]**

[2.2.1 分词器][2.2]

[2.2.2 停用词移除][2.2]

[2.2.3 n-gram][2.2]

[2.2.4 二值化][2.2]

[2.2.5 主成分分析（PCA）][2.2]

[2.2.6 多项式展开][2.2]

[2.2.7 离散余弦变换（DCT）][2.2]

[2.2.8 字符串－索引变换][2.2]

[2.2.9 索引－字符串变换][2.2]

[2.2.10 独热编码][2.2]

[2.2.11 向量－索引变换][2.2.11]

[2.2.12 正则化][2.2.11]

[2.2.13 标准缩放][2.2.11]

[2.2.14 最大值－最小值缩放][2.2.11]

[2.2.15 最大值－平均值缩放][2.2.11]

[2.2.16 离散化重组][2.2.11]

[2.2.17 元素乘积][2.2.11]

[2.2.18 SQL转换器][2.2.11]

[2.2.19 向量汇编][2.2.11]

[2.2.20 分位数求解器][2.2.11]

**[2.3 特征选择][2.3]**

[2.3.1 向量机][2.3]

[2.3.2 R公式][2.3]

[2.3.3 选择][2.3]

**3 分类和回归**

**3.1 分类**

[3.1.1 逻辑回归][3.1.1]

[3.1.2决策树分类][3.1.2]

[3.1.3 随机森林分裂][3.1.3]

[3.1.4 梯度迭代树分类][3.1.4]

[3.1.5 多层感知机][3.1.5]

[3.1.6 一对多分类器][3.1.6]

[3.1.7 朴素贝叶斯][3.1.7]

**3.2 回归**

[3.2.1 广义线性模型][3.2.1]

[3.2.2 决策树回归][3.2.2]

[3.2.3 随机森林回归][3.2.3]

[3.2.4 梯度迭代树回归][3.2.4]

[3.2.5 生存回归][3.2.5]

[3.2.6 保序回归][3.2.6]

**4 聚类**

[4.1 K均值聚类][4.1 K]

[4.2 文档主题生成模型（LDA）][4.2 _LDA]

[4.3 二分K均值][4.3 _K]

[4.4 高斯混合模型（GMM）][4.4 _GMM]

**[5 协同过滤][5]**

**6 模型选择和调试**

[6.1 交叉检验][6.1]

[6.2 训练检验分裂][6.2]

**[7 高级主题][7]**

[1]: http://blog.csdn.net/liulingyuan6/article/details/53576550
[2.1]: http://blog.csdn.net/liulingyuan6/article/details/53390949
[2.2]: http://blog.csdn.net/liulingyuan6/article/details/53397780
[2.2.11]: http://blog.csdn.net/liulingyuan6/article/details/53410832
[2.3]: http://blog.csdn.net/liulingyuan6/article/details/53413728
[3.1.1]: http://blog.csdn.net/liulingyuan6/article/details/53419717
[3.1.2]: http://blog.csdn.net/liulingyuan6/article/details/53423967
[3.1.3]: http://blog.csdn.net/liulingyuan6/article/details/53424862
[3.1.4]: http://blog.csdn.net/liulingyuan6/article/details/53426350
[3.1.5]: http://blog.csdn.net/liulingyuan6/article/details/53432429
[3.1.6]: http://blog.csdn.net/liulingyuan6/article/details/53436386
[3.1.7]: http://blog.csdn.net/liulingyuan6/article/details/53440728
[3.2.1]: http://blog.csdn.net/liulingyuan6/article/details/53466467
[3.2.2]: http://blog.csdn.net/liulingyuan6/article/details/53467473
[3.2.3]: http://blog.csdn.net/liulingyuan6/article/details/53467578
[3.2.4]: http://blog.csdn.net/liulingyuan6/article/details/53467675
[3.2.5]: http://blog.csdn.net/liulingyuan6/article/details/53470300
[3.2.6]: http://blog.csdn.net/liulingyuan6/article/details/53471302
[4.1 K]: http://blog.csdn.net/liulingyuan6/article/details/53485239
[4.2 _LDA]: http://blog.csdn.net/liulingyuan6/article/details/53485305
[4.3 _K]: http://blog.csdn.net/liulingyuan6/article/details/53486794
[4.4 _GMM]: http://blog.csdn.net/liulingyuan6/article/details/53487376
[5]: http://blog.csdn.net/liulingyuan6/article/details/53489390
[6.1]: http://blog.csdn.net/liulingyuan6/article/details/53538351
[6.2]: http://blog.csdn.net/liulingyuan6/article/details/53538861
[7]: http://blog.csdn.net/liulingyuan6/article/details/53559742