Spark:Transformation和Action

落日映苍穹つ 2022-08-08 06:10 123阅读 0赞

Transformation操作：

map(func)    对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD，新RDD的组成元素是输入元素经过func的输出。

groupByKey(numTasks)  返回(K,Seq\[V\]),相当于hadoop中的reduce函数接收K-V对，输出K-Vlist。

reduceByKey(func,\[numTasks\])   在groupByKey产生的(K,Seq\[V\])上作用func，比如求和、平均数。

sortByKey(\[ascending\],\[numTasks\])  按照key来进行排序，ascending决定是升序还是降序，boolean类型。

filter(func)    返回一个新数据集，由经过func函数计算后返回值为true的输入元素组成。

flatMap(func)   每一个输入元素可以被映射为0或多个输出元素，func返回一个序列，新RDD由这样的序列组成。

mapPartitions(func)  类似map，独立地在RDD的每一个分块上运行。

sample(withReplacement , fraction ,seed)  采样器。根据fraction指定的比例，对数据进行采样，可以选择是否用随机数进行替换，seed用于指定随机数生成器种子。

union(otherdataset)         返回一个新的数据集，新数据集由源数据集和参数数据集联合而成。

distinct(\[numTasks\])         返回一个包含原数据集中所有不重复元素的新数据集。

cartesian(otherDataset)  笛卡尔积，在类型T和U类型的数据集上，返回一个(T，U)对的数据集。

Action操作：

reduce(func)

count()     返回的是dataset中的element的个数。

first()        返回的是dataset中的第一个元素。

take(n)     返回前n个element。

takeSample(withReplacement , num,seed)   抽样返回一个dataset中的num个元素，随机种子seed。

foreach(func)  对dataset中的每个元素都使用func。

collect()      在filter或者足够小的结果的时候，用collect封装返回一个数组。

saveAsTextFile(path)   把dataset写到一个text file中，或则hdfs文件系统中，spark把每条记录都转换为一行记录，然后写到file中。

saveAsSequenceFile(path)  只能用于key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。

发表评论取消回复

表情：

评论列表（有 0 条评论，123人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark中action和transformation算子

RDD是不可变型的，并且针对RDD的每个操作都将创建一个新的RDD。可以在RDD上执行两种类型的操作，即：action和transformation 1、transform

悠悠/ 2022年09月02日 04:10/ 0 赞/ 161 阅读

相关 Delegate、Predicate、Action和Func

写在前面　　先说下什么是委托（Delegate），委托在C\中是一种类型，和Class是一个级别，但是我们经常把它看做是一个方法。为什么是方法？准确的说应该是回调函数，

╰半夏微凉°/ 2022年08月27日 03:54/ 0 赞/ 144 阅读

相关 Spark:Transformation和Action

Transformation操作： map(func) 对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD，新RDD的组成元素是输入

落日映苍穹つ/ 2022年08月08日 06:10/ 0 赞/ 124 阅读

相关 ACTION

String ADD\_SHORTCUT\_ACTION 动作：在系统中添加一个快捷方式。 String ALL\_APPS\_ACTION 动作：列举所有可用的应用。

浅浅的花香味﹌/ 2022年06月12日 22:21/ 0 赞/ 126 阅读

相关 spark transformation 和action

transformation 常见操作 ![这里写图片描述][70] ![这里写图片描述][70 1] action 常见操作 ![这里写图片描述][70 2]

系统管理员/ 2022年05月24日 06:37/ 0 赞/ 158 阅读

相关 spark transformation和action操作

spark中的transformation是lazy特性的，比如我们的wordCount操作，在促发action（foreach）操作前，我们前边的算子是不会实际操作执行的，整

小咪咪/ 2022年05月16日 04:59/ 0 赞/ 147 阅读

相关 vuex—2muation和action

接上节加上payload ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLm

ゝ一纸荒年。/ 2022年01月21日 03:41/ 0 赞/ 170 阅读

相关 6、transformation和action1

一、transformation和action入门 1、介绍 Spark支持两种RDD操作：transformation和action。transformation

我就是我/ 2021年11月26日 18:36/ 0 赞/ 183 阅读

相关 WebApi:路由和Action选择

本文描述了`ASP.NET Web API`怎么将一个`HTTP`请求路由到控制器的指定方法上。对于更高级别路由概览，请看 [Routing in ASP.NET Web

素颜马尾好姑娘i/ 2021年06月26日 16:06/ 0 赞/ 387 阅读

相关（二）Struts2——action和Action类——精讲&案例

一、action VS Action 类 action:代表一个struts2的请求。 Action类:能够处理Struts2请求的类。比如我们上篇文章中写的Prod

阳光穿透心脏的1/2处/ 2021年06月22日 15:37/ 0 赞/ 321 阅读