dolphinscheduler的优化参数的优化

怼烎@ 2024-02-17 11:29 57阅读 0赞

### dolphinscheduler的优化参数的优化 ###

DolphinScheduler 是一个分布式的、易用的大数据工作流任务调度系统，提供了很多优化参数来调整其性能和运行行为。以下是一些常用的 Dolphinscheduler 优化参数：

配置并发度（concurrentTaskNum）：指定并行执行的任务数量。根据集群的规模和硬件资源的情况，可以适当增大该参数的值，以提高任务的并发执行能力。

调整任务资源配置：根据任务的类型和资源需求，可以调整任务的内存、CPU 和磁盘等资源配置，以最优化任务的运行效率。

调整线程池配置：通过调整 DolphinScheduler 的线程池参数来优化任务的并发执行能力和资源利用率。例如，可以调整线程池的核心线程数、最大线程数和队列容量等参数，以适应不同任务负载的需求。

调整调度器调度频率（schedulerInterval）：DolphinScheduler 的调度器会定期检查任务的状态并触发任务的调度。通过调整调度频率，可以控制调度器的运行频率，以达到最佳的性能和资源利用效果。

启用任务重试（taskRetryTimes）：在任务失败时，可以设置任务的重试次数，以增加任务的执行成功率。根据任务的特性和运行环境，可以适量增加任务的重试次数，但需要注意避免任务出现无限重试的情况。

启用任务优先级调度（enableTaskPriority）：如果任务存在优先级的需求，可以启用任务的优先级调度功能。通过设置任务的优先级，可以控制任务的执行顺序和资源分配。

**DolphinScheduler调优-并发设置**  
1.master.exec.threads  
配置master.properties，我这里配置为5，意思是一个master最对运行5个流程实例；

2.worker.exec.threads;  
配置worker.properties，我这里设置为10，意思是一个worker，最多运行10个任务实例；

“任务依赖”的任务实例，不占用运行实例名额，原因是“任务依赖”的任务实例不占用资源；

目前DolphinScheduler只是做了一个基本的设置,JVM参数请根据各自资源的实际情况自行设置.

默认简化参数如下:

export DOLPHINSCHEDULER_OPTS="
    -server
    -Xmx16g
    -Xms1g
    -Xss512k
    -XX:+UseConcMarkSweepGC
    -XX:+CMSParallelRemarkEnabled
    -XX:+UseFastAccessorMethods
    -XX:+UseCMSInitiatingOccupancyOnly
    -XX:CMSInitiatingOccupancyFraction=70

官网：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/architecture/configuration

发表评论取消回复

表情：

评论列表（有 0 条评论，57人围观）

还没有评论，来说两句吧...

相关阅读

相关 kyuubi的优化参数（全）

kyuubi的优化参数（全） kyubi.dynamic.resource: 设置为 true，启用动态资源调整功能。这将允许 Kyuubi 根据当前负载和资源可用性自动

短命女/ 2024年03月17日 22:31/ 0 赞/ 42 阅读

相关 dolphinscheduler的优化参数的优化

dolphinscheduler的优化参数的优化 DolphinScheduler 是一个分布式的、易用的大数据工作流任务调度系统，提供了很多优化参数来调整其性能和运行行

怼烎@/ 2024年02月17日 11:29/ 0 赞/ 58 阅读

相关【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化）

【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化） 1）HDFS副本数 2）Yarn基础配置 2.1.nod

迈不过友情╰/ 2023年10月05日 16:26/ 0 赞/ 17 阅读

相关 MySql（参数）性能的优化

MySql查询写入贼慢? 在前几天，在测试中遇到了一个这样的问题。现象为：查询和写入都相当的慢。说出来可能都不信，慢到哪种地步呢？ select co

傷城~/ 2023年06月29日 10:55/ 0 赞/ 37 阅读

相关 Tomcat优化系列-JVM参数的优化

JVM内存模型 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

绝地灬酷狼/ 2023年06月16日 04:59/ 0 赞/ 141 阅读

相关 hive 参数优化

运行速度快的参数设置 SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mo

曾经终败给现在/ 2022年10月07日 14:57/ 0 赞/ 57 阅读

相关配置参数优化

为了改进性能，可以采取以下几种措施： 1. 将所有只用于搜索的，而不需要作为查询结果的field（特别是一些比较大的field）的stored设置为false。

心已赠人/ 2022年08月18日 02:07/ 0 赞/ 195 阅读

相关 JVM参数的优化

JVM参数的优化适当调整Tomcat的运行JVM参数可以提升整体性能。 JVM内存模型 ![这里写图片描述][j1.png] ![这里写图片描述][j2.p

我会带着你远行/ 2022年06月12日 14:21/ 0 赞/ 248 阅读

相关 JVM参数优化

JVM参数的优化适当调整Tomcat的运行JVM参数可以提升整体性能。 JVM内存模型 Java栈 Java栈是与每一个线程关联的，JVM在创建每一个线程

浅浅的花香味﹌/ 2022年06月11日 22:54/ 0 赞/ 275 阅读

相关 php参数优化

1.引擎缓存加速优化 2.使用tmpfs作为缓存加速文件目录 3.php.ini参数调优 3.1打开安全模式 3.2关闭

缺乏、安全感/ 2022年05月17日 13:19/ 0 赞/ 153 阅读