掌握Spark机器学习库 01 --- 数据类型

r囧r小猫 2021-11-14 14:28 246阅读 0赞

一，Mllib的数据格式

1，本地向量

本地向量是存储在本地节点上的，其基本数据类型是Vector，其有两个子集，分别是密集的与稀疏的，我们一般使用Vectors工厂类来实现。如：

Vectors.dese(1.0,2.0,3.0)

Vectors.sparse(3,(0,1),(1,2),(2,3))

2, 标签数据

val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))

3，本地矩阵

本地矩阵是存储与单台机器上的，有整类型的row，列索引，double类型的值。Mllib支持密集矩阵，其输入值按照列column-major顺序存储在单个double数组中。稀疏矩阵是其非零值按照column-major顺序以压缩稀疏列（CSC）格式存储。

如下面的密集矩阵

![?wx\_fmt=png][wx_fmt_png]

密集矩阵的存储方式下，表现为：\[1.0, 3.0, 5.0, 2.0, 4.0, 6.0\]，矩阵大小为(3, 2)

本地矩阵的基类是Matrix，有两个实现：DenseMatrix和SparseMatrix。用工厂方法来创建本地矩阵。请记住，Mllib中的本地矩阵按照column-major的顺序存储。

import org.apache.spark.mllib.linalg.\{Matrix, Matrices\}

// Create a dense matrix ((1.0, 2.0), (3.0, 4.0), (5.0, 6.0))

val dm: Matrix = Matrices.dense(3, 2, Array(1.0, 3.0, 5.0, 2.0, 4.0, 6.0))

// Create a sparse matrix ((9.0, 0.0), (0.0, 8.0), (0.0, 6.0))

val sm: Matrix = Matrices.sparse(3, 2, Array(0, 1, 3), Array(0, 2, 1), Array(9, 6, 8))

4，分布式矩阵

一个矩阵分成多个RDD存储

一个分布式矩阵有一个long型的行，列索引，double类型的值，以一个或者多个RDD的形式分布式存储。存储巨大和分布式的矩阵需要选择一个正确的存储格式。将一个分布式矩阵转换为一个不同的格式可能需要一个全局的shuffle，代价是非常高的。目前为止，总共有四种类型的分布式矩已经被实现了。

一个RowMatrix矩阵是一个面向行的矩阵，行索引是没有意义的，比如，一个特征向量。RDD的每个行都是一个本地行向量。这里面RowMatrix假设的是列数不多，所以一个本地向量可以本传到driver端，可以轻松的被一个节点处理和存储。

一个IndexedRowMatrix跟RowMatrix很相似，但是它有一个行索引，该索引可以用于识别行并且执行joins。

CoordinateMatrix是一个以coordinate list (COO)格式存储的分布式矩阵。(row, column, value)

BlockMatrix是一个分布式矩阵，格式是(Int,Int,Matrix)。

**注意**

**分布式矩阵的底层RDD必须是确定性的，因为我们缓存矩阵大小。一般来说，使用非确定性的RDD可能会导致错误。**

5，分布式数据集

RDD DataSet Dataframe

[wx_fmt_png]: /images/20211114/de8c465cec4c448cb051ba084079ff6c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，246人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 机器学习库【MLlib】编程指南

一.机器学习库 MLlib是Spark的机器学习库【ML】。其目标是使实用的机器学习算法变得可扩展且容易使用。在较高级别，它提供了以下工具：机器学习算法：常见的

心已赠人/ 2023年02月20日 06:25/ 0 赞/ 84 阅读

相关《Spark 官方文档》机器学习库（MLlib）指南

并发编程网 - ifeve.com http://ifeve.com/spark-mllib/ 官方文档 http://spark.apache

快来打我*/ 2022年12月09日 02:35/ 0 赞/ 218 阅读

相关 Apache Spark 3.0 机器学习库（MLlib）指南

学习地址：[https://spark.apache.org/docs/latest/ml-guide.html][https_spark.apache.org_docs_la

ゝ一纸荒年。/ 2022年12月04日 07:50/ 0 赞/ 254 阅读

相关机器学习-01 绪论

1.1 机器学习的定义正如我们根据过去的经验来判断明天的天气，吃货们希望从购买经验中挑选一个好瓜，那能不能让计算机帮助人类来实现这个呢？机器学习正是这样的一门学科，人的

你的名字/ 2022年11月21日 04:19/ 0 赞/ 173 阅读

相关 Spark机器学习的数据类型（Python版）

数据类型： 1、局部向量 2、标签点 3、局部矩阵 4、分布矩阵 4.

た入场券/ 2022年09月28日 14:26/ 0 赞/ 222 阅读

相关 spark机器学习库之决策树分类

分类决策树代码 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Da

心已赠人/ 2022年06月10日 04:52/ 0 赞/ 208 阅读

相关 spark mlib 机器学习系列之二：spark mlib 基本数据类型的使用

spark mlib 基本数据类型 Local Vector 本地向量集，向spark 提供一组可操作的数据集合 Labeled point 向量标签，让用户分类不同

àì夳堔傛蜴生んèń/ 2022年05月24日 07:20/ 0 赞/ 185 阅读

相关掌握Spark机器学习库-06-基础统计部分

说明学习使用spark对数据进行描述性统计，在进行机器学习模型的训练之前，可以了解数据的总体情况本章主要讲解基础统计部分，包括基本统计、假设检验、相关系数等数

迷南。/ 2022年05月10日 19:30/ 0 赞/ 165 阅读

相关掌握Spark机器学习库 02 --- Mllib 与 ml

一，Mllib 与 ml 是spark的两个机器学习库二者区别： 1， Mllib 是采用RDD ml 使用DataFrame 2， spark官方是希望使用m

男娘i/ 2021年11月14日 14:34/ 0 赞/ 393 阅读

相关掌握Spark机器学习库 01 --- 数据类型

一，Mllib的数据格式 1，本地向量本地向量是存储在本地节点上的，其基本数据类型是Vector，其有两个子集，分别是密集的与稀疏的，我们一般使用Vectors工厂类来

r囧r小猫/ 2021年11月14日 14:28/ 0 赞/ 247 阅读