Spark Core快速入门系列(8) | HashPartitioner和RangePartitioner

￡神魔★判官ぃ 2022-11-29 12:28 213阅读 0赞

HashPatitioner

1.默认分区器
   2.聚合算子如果没有分区器就是默认分区器对shuffle后的rdd进行重新分区
   缺点：
   容易造成数据倾斜

RangePartitioner
sortByKey排序算子使用的RangePartitioner
在这里插入图片描述
看源码
在0分区

在3分区

在4分区

发表评论取消回复

表情：

评论列表（有 0 条评论，213人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Core快速入门系列(10) | 累加器+广播变量

目录累加器自定义Int类型的累加器自定义map类型的累加器广播变量累加器

约定不等于承诺〃/ 2022年11月29日 13:25/ 0 赞/ 236 阅读

相关 Spark Core快速入门系列(9) | Spark读取文件的切片规则

目录读取文件的切片规则如果找不到源码-分享步骤读取文件的切片规则截取了源码重要的部分 //所有的文件 File

布满荆棘的人生/ 2022年11月29日 12:42/ 0 赞/ 328 阅读

相关 Spark Core快速入门系列(8) | HashPartitioner和RangePartitioner

`HashPatitioner` 1.默认分区器 2.聚合算子如果没有分区器就是默认分区器对shuffle后的rdd进行重新分区缺点：

￡神魔★判官ぃ/ 2022年11月29日 12:28/ 0 赞/ 214 阅读

相关 Spark Core快速入门系列(7) | RDD的持久化和检查点

目录 rdd的持久化聚合算子默认缓存 checkpoint rdd的持久化 ![在这里插入图片描述][watermark

红太狼/ 2022年11月29日 11:28/ 0 赞/ 212 阅读

相关 Spark Core快速入门系列(6) | Spark序列化

目录 spark的序列化关于序列化的原理 Kyro序列化（建议使用）总结 spark的序列化进行 Sp

Love The Way You Lie/ 2022年11月29日 11:21/ 0 赞/ 267 阅读

相关 Spark Core快速入门系列(5) | Spark中job的划分

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

素颜马尾好姑娘i/ 2022年11月29日 03:08/ 0 赞/ 211 阅读

相关 Spark Core快速入门系列(4) | RDD的转换(transformation)

目录 Value 类型 map mapPartitions map()和

川长思鸟来/ 2022年11月28日 00:55/ 0 赞/ 86 阅读

相关 Spark Core快速入门系列(2) | Spark对集合的切片原理

`话不多说，直接看源码！` ctrl+左键 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text

逃离我推掉我的手/ 2022年11月27日 15:38/ 0 赞/ 207 阅读

相关 Spark Core快速入门系列(1) | 运行模式-4种

目录 Local 模式使用 Spark-shell 提交流程 word

柔光的暖阳◎/ 2022年11月27日 10:21/ 0 赞/ 258 阅读

相关 [Spark] - HashPartitioner & RangePartitioner 区别

[\[Spark\] - HashPartitioner & RangePartitioner 区别][Spark_ - HashPartitioner _ RangePart

た入场券/ 2022年06月13日 00:38/ 0 赞/ 152 阅读