spark性能调优

雨点打透心脏的1/2处 2024-04-19 09:57 0阅读 0赞

## 基础调优 ##

### 1、提交参数 ###

可以设置executor数量，每个executor的内存/CPU核数，在资源允许的情况下越大越好  
，没有什么是加一台服务器解决不了的  
原则：根据业务数据量，集群物理配置，任务优先级进行配置，遇到计算瓶颈，加服务器，花钱一般都能搞定

### 2、并行度设置（分区数设置） ###

原则：尽量和cpu核数保持一致，为了充分压榨CPU的计算资源，可以设置为CPU核数的2-3倍

### 3、cache/persist+checkpoint ###

sc.setCheckpointDir('HDFS')
    rdd.cache/persisit(memory_and_disk)
    rdd.checkpoint

### 4、使用广播变量 ###

val 广播变量名= sc.broadcast(会被各个Task用到的变量,即需要广播的变量)  
广播变量名.value//获取广播变量

### 5、Kryo序列化（重要） ###

注意：在spark2.0之后，简单数据类型，数组，String组成的RDD，默认使用的就是Kryo序列化，如果自定义的对象要使用Kryo序列化，需要实现接口并配置参数

### 6、数据本地化读取等待时间 ###

## RDD算子优化 ##

1、RDD复用  
2、尽早filter  
3、读取大量小 文件用wholeTextFiles  
4、mapPartition和foreachPartition  
5、repartition调节并行度，也可以通过conf参数配置  
7、本地预聚合，能用reduceBykey，就不用了groupBykey

## shuflle优化 ##

1、当数据量更多的时候，把map和reduce端的缓冲区大小调大，reduce端重试和等待时间间隔调大  
2、bypass机制开启阈值

## 数据倾斜优化 ##

自定义分区器

## JVM参数调优 ##

1、调节cache内存百分比

val conf = new SparkConf().set("spark.storage.memoryFraction", "0.4")

2、设置对外内存直接使用操作系统的内存

–conf spark.yarn.executor.memoryOverhead=2048  
3、设置连接等待时长

–conf spark.core.connection.ack.wait.timeout=300

发表评论取消回复

表情：

评论列表（有 0 条评论，0人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 性能调优

Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置　　Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范...

古城微笑少年丶/ 2024年04月20日 09:13/ 0 赞/ 10 阅读

相关 Spark 优化 (一) --------- Spark 性能调优

目录一、常规性能调优 1. 最优资源配置 2. RDD优化 3. 并行度调节 4. 广播大变量

布满荆棘的人生/ 2024年04月06日 10:47/ 0 赞/ 3 阅读

相关八、Spark性能调优——JVM 调优

对于 JVM 调优，首先应该明确， full gc/minor gc，都会导致 JVM 的工作现场停止工作，即 stop the world。一、降低 cache 操作的

忘是亡心i/ 2023年06月06日 03:54/ 0 赞/ 234 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 247 阅读

相关 Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零

客官°小女子只卖身不卖艺/ 2022年10月07日 05:43/ 0 赞/ 391 阅读

相关 Spark Streaming：性能调优

[Spark Streaming：性能调优][Spark Streaming] 原文网址： http://blog.csdn.net/kwu\_ganymede/a

叁歲伎倆/ 2022年09月30日 12:58/ 0 赞/ 269 阅读

相关 Spark性能调优

Spark性能调优 [摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。][Link 1] 性能监控

客官°小女子只卖身不卖艺/ 2022年06月18日 02:08/ 0 赞/ 289 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 348 阅读

相关 Spark性能调优之数据倾斜调优

Spark性能调优之数据倾斜调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述有的时候，我们可能会遇到大数据计算

素颜马尾好姑娘i/ 2022年06月06日 01:41/ 0 赞/ 315 阅读

相关 Spark性能调优——其他调优方法

一、提高并行度实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。

骑猪看日落/ 2021年09月14日 05:12/ 0 赞/ 554 阅读