Spark性能调优

野性酷女 2022-10-16 06:07 323阅读 0赞

# Spark调优主要分为运行资源调优和代码调优 #

## 1.运行资源调优 ##

[Spark性能优化：资源调优篇][Spark]

[Spark性能调优：合理设置并行度][Spark 1]

## 2.代码调优 ##

[map和mapPartitions][map_mapPartitions]

[Spark-core中foreachPartition和mapPartitions的区别][Spark-core_foreachPartition_mapPartitions]

[SparkStreaming中的foreachRDD、spark-core中foreach、spark-core中foreachPartition三者之间的区别][SparkStreaming_foreachRDD_spark-core_foreach_spark-core_foreachPartition]

[Spark]: https://blog.csdn.net/u012102306/article/details/51637366
[Spark 1]: https://blog.csdn.net/leen0304/article/details/78674073?utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control
[map_mapPartitions]: https://blog.csdn.net/yangshengwei230612/article/details/115627801
[Spark-core_foreachPartition_mapPartitions]: https://blog.csdn.net/yangshengwei230612/article/details/117353286
[SparkStreaming_foreachRDD_spark-core_foreach_spark-core_foreachPartition]: https://blog.csdn.net/yangshengwei230612/article/details/117350002

发表评论取消回复

表情：

评论列表（有 0 条评论，323人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 优化 (一) --------- Spark 性能调优

目录一、常规性能调优 1. 最优资源配置 2. RDD优化 3. 并行度调节 4. 广播大变量

布满荆棘的人生/ 2024年04月06日 10:47/ 0 赞/ 88 阅读

相关八、Spark性能调优——JVM 调优

对于 JVM 调优，首先应该明确， full gc/minor gc，都会导致 JVM 的工作现场停止工作，即 stop the world。一、降低 cache 操作的

忘是亡心i/ 2023年06月06日 03:54/ 0 赞/ 338 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 324 阅读

相关 Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零

客官°小女子只卖身不卖艺/ 2022年10月07日 05:43/ 0 赞/ 481 阅读

相关 Spark Streaming：性能调优

[Spark Streaming：性能调优][Spark Streaming] 原文网址： http://blog.csdn.net/kwu\_ganymede/a

叁歲伎倆/ 2022年09月30日 12:58/ 0 赞/ 344 阅读

相关 Spark性能优化-------开发调优

Spark源码解析转载： http://blog.sina.com.cn/s/articlelist\_2628346427\_2\_1.html http

痛定思痛。/ 2022年07月10日 12:32/ 0 赞/ 363 阅读

相关 Spark性能调优

Spark性能调优 [摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。][Link 1] 性能监控

客官°小女子只卖身不卖艺/ 2022年06月18日 02:08/ 0 赞/ 372 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 433 阅读

相关 Spark性能调优之数据倾斜调优

Spark性能调优之数据倾斜调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述有的时候，我们可能会遇到大数据计算

素颜马尾好姑娘i/ 2022年06月06日 01:41/ 0 赞/ 388 阅读

相关 Spark性能调优——其他调优方法

一、提高并行度实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。

骑猪看日落/ 2021年09月14日 05:12/ 0 赞/ 648 阅读