RDD中的常用算子

╰半夏微凉° 2024-04-17 05:28 59阅读 0赞

**基本概念**

主要分为两大类Trasnformation和Action

trasnformation(转换):主要是物理的转换,不会触发任务的真正的执行,只会记录我们进行了什么操作,等到真正执行再去计算

action(动作):会触发spark程序真正的执行,调用action的时候,前面进行一系列的trasnformation操作包括action都会被执行

**trasnformation常用算子**

map:将所有的元素取出,经过func函数转换成一个新的RDD

filter:返回一个新的RDD,该RDD经过func函数计算,返回true的元素

flatMap:先经过map函数,再进行flat压平

mappartitions:类似map,但是是把分区里的所有元素汇集成一个集合,然后再执行逻辑,形成新的RDD

union:合并,将两个RDD中的数据进行合并,返回一个新的RDD(取并集)

intersection:合并,(取交集)

distinct:去重,对原来的RDD进行去重,返回新的RDD

partitionBy:分区,有分区可以重新分(可以做一些数据的合并,还有数据倾斜的问题)

reduceByKey:在一个<K,V>的RDD上调用,返回一个(K,V)的RDD,可以使相同的K合并,reduce个数第二个参数设置(可选项)  提前在本地做聚合

groupByKey:和reduceByKey最终的结果是一样的,groupByKey不是在本地合并是在最终进行合并

sortByKey:按照K进行排序

sortBy:指定某一个元素进行排序

join:把相同的K合并,V形成集合(装到元祖中去)

clalesce:缩减分区数,用于大数据集过滤后,提高小数据集的执行效率

mapvlaues:针对<K,V>类型,只对V进行操作

subtract:计算差的一种函数,只保留不同的

**Action常用算子**

reduce:通过func函数聚集RDD中所有元素,必须是可交换,可并联的

collect:将RDD中的元素打印出来

count:统计一个多少条数据

first:取出RDD中第一个元素

take(N),取出RDD中前N个值

top(N):排序取前N,从大到小

takeOedered(N),排序取出前N个值,从小到大

saveAsTextFile(path):保存到指定的路径中(本地或HDFS)

foreach:在数据集的每一个元素上,进行func进行更新

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/53267aae4ac44a09a68a11be74d43ed4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，59人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark RDD-行动算子

2.4 Action **行动算子：触发运算，在 Executor 执行，如果想直接在 Driver 端看到结果可以使用 collect 和 foreach 都可以将...

小鱼儿/ 2024年04月20日 09:10/ 0 赞/ 69 阅读

相关 RDD中的常用算子

*基本概念** 主要分为两大类Trasnformation和Action trasnformation(转换):主要是物理的转换,不会触发任务的真正的执行,只会记录我...

╰半夏微凉°/ 2024年04月17日 05:28/ 0 赞/ 60 阅读

相关 Spark常用算子

1、transformation算子 – 单value ![E5_9B_BE_E7_89_87-36.png][] 2、 transformation算子 – 双va

Myth丶恋晨/ 2023年07月20日 13:45/ 0 赞/ 84 阅读

相关 RDD算子

RDD算子算子分类 1、transformation（转换）根据已经存在的rdd转换生成一个新的rdd, 它是延迟加载，它不会立即执行例如:

系统管理员/ 2022年10月06日 06:58/ 0 赞/ 199 阅读

相关 Spark的常用RDD

1）转换算子--transformations \++ 合并两个RDD。生产一个新的RDD cache 缓存rdd，减少之后使用相同逻辑rdd的计算量，只有一个级别 Mem

拼搏现实的明天。/ 2022年06月01日 10:58/ 0 赞/ 192 阅读

相关 RDD基本算子操作

1.1. Transformations 1.1.1. 创建RDD 1、数组创建RDD 从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中

古城微笑少年丶/ 2022年05月28日 05:57/ 0 赞/ 228 阅读

相关 Spark RDD常用算子整理

Spark RDD

女爷i/ 2022年05月22日 03:25/ 0 赞/ 243 阅读

相关 Rdd算子之reduce

/ 分三个分区：分区1：1、2 分区2：3、4 分区3：5、6、7 每个分区内部进行相加（1+2）+（3+4）

小鱼儿/ 2022年02月05日 13:25/ 0 赞/ 278 阅读

相关 Rdd算子之aggregate

aggregate是聚合的意思 private static void arrgue1() { SparkConf conf = new Sp

迷南。/ 2022年02月05日 13:23/ 0 赞/ 301 阅读

相关 Spark、RDD、算子

Spark、RDD、算子 spark特点：速度快(基于内存处理数据，有相无关图)，语言广一、Spark核心-RDD（弹性分布式数据） Rdd是逻辑概念，part

川长思鸟来/ 2021年12月03日 10:21/ 0 赞/ 469 阅读