6大分布式定时任务对比

一时失言乱红尘 2023-10-07 13:02 24阅读 0赞

![format_png][]

作者 | sharedCode

来源 | blog.csdn.net/u012394095/article/details/79470904

### 分布式定时任务简介 ###

把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式，叫做分布式定时任务。

### 常见开源方案 ###

*  elastic-job
 *  xxl-job
 *  quartz
 *  saturn
 *  opencron
 *  antares

#### elastic-job ####

elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务

亮点：

1.  基于quartz 定时任务框架为基础的，因此具备quartz的大部分功能
2.  使用zookeeper做协调，调度中心，更加轻量级
3.  支持任务的分片
4.  支持弹性扩容 ， 可以水平扩展 ， 当任务再次运行时，会检查当前的服务器数量，重新分片，分片结束之后才会继续执行任务
5.  失效转移，容错处理，当一台调度服务器宕机或者跟zookeeper断开连接之后，会立即停止作业，然后再去寻找其他空闲的调度服务器，来运行剩余的任务
6.  提供运维界面，可以管理作业和注册中心。

elastic-job结合了quartz非常优秀的时间调度功能，并且利用ZooKeeper实现了灵活的分片策略。除此之外，还加入了大量实用的监控和管理功能，

以及其开源社区活跃、文档齐全、代码优雅等优点，是分布式任务调度框架的推荐选择。

由于elastic-job-lite 不支持动态添加作业，此处仅贴上elastic-job-Cloud架构图

![format_png 1][] img

#### xxl-job ####

由个人开源的一个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理

对象（http协议调用）， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码，核心功能和elastic-job差不多

，同时技术文档比较完善

系统架构图：

![format_png 2][]

#### quartz ####

quartz 的常见集群方案如下，通过在数据库中配置定时器信息， 以数据库悲观锁的方式达到同一个任务始终只有一个节点在运行，

优点：

1.  保证节点高可用 （HA）， 如果某一个几点挂了， 其他节点可以顶上

缺点：

1.  同一个任务只能有一个节点运行，其他节点将不执行任务，性能低，资源浪费
2.  当碰到大量短任务时，各个节点频繁的竞争数据库锁，节点越多这种情况越严重。性能会很低下
3.  quartz 的分布式仅解决了集群高可用的问题，并没有解决任务分片的问题，不能实现水平扩展

**![format_png 3][]**

#### Saturn ####

Saturn是唯品会在github开源的一款分布式任务调度产品。它是基于当当elastic-job 1.0版本来开发的，其上完善了一些功能和添加了一些新的feature。

亮点：

1.  支持多语言开发 python、Go、Shell、Java、Php。
2.  管理控制台和数据统计分析更加完善

缺点：

1.  技术文档较少 ， 该框架是2016年由唯品会的研发团队基于elastic-job开发而来的

#### opencron ####

一个功能完善真正通用的linux定时任务调度定系统,满足多种场景下各种复杂的定时任务调度,同时集成了linux实时监控,webssh,提供一个方便管理定时任务的平台

缺点：仅支持 kill任务， 现场执行，查询任务运行状态 等， 主要功能是着重于任务的修改和查询上。不能动态的添加任务以及任务分片。

#### antares ####

优点：

1.  一个任务仅会被服务器集群中的某个节点调度，调度机制基于成熟的 quartz
2.  并行执行 ， 用户可通过对任务预分片，有效提升任务执行效率
3.  失效转移
4.  弹性扩容，在任务运行时，可以动态的加机器
5.  友好的管理控制台

缺点：

1.  不能动态的添加任务，仅能在控制台对任务进行触发，暂停，删除等操作
2.  文档不多，开源社区不够活跃

系统架构图如下：

![format_png 4][] img

## 3. 比较 ##

此处列出了几个代表性的开源产品

<table> 
 <thead> 
  <tr> 
   <th>feature</th> 
   <th>quartz</th> 
   <th>elastic-job-cloud</th> 
   <th>xxl-job</th> 
   <th>antares</th> 
   <th>opencron</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>依赖</td> 
   <td>mysql</td> 
   <td>jdk1.7+, zookeeper 3.4.6+ ,maven3.0.4+ ,mesos</td> 
   <td>mysql ,jdk1.7+ , maven3.0+</td> 
   <td>jdk 1.7+ , redis , zookeeper</td> 
   <td>jdk1.7+ , Tomcat8.0+</td> 
  </tr> 
  <tr> 
   <td>HA</td> 
   <td>多节点部署，通过竞争数据库锁来保证只有一个节点执行任务</td> 
   <td>通过zookeeper的注册与发现，可以动态的添加服务器。支持水平扩容</td> 
   <td>集群部署</td> 
   <td>集群部署</td> 
   <td>—</td> 
  </tr> 
  <tr> 
   <td>任务分片</td> 
   <td>—</td> 
   <td>支持</td> 
   <td>支持</td> 
   <td>支持</td> 
   <td>—</td> 
  </tr> 
  <tr> 
   <td>文档完善</td> 
   <td>完善</td> 
   <td>完善</td> 
   <td>完善</td> 
   <td>文档略少</td> 
   <td>文档略少</td> 
  </tr> 
  <tr> 
   <td>管理界面</td> 
   <td>无</td> 
   <td>支持</td> 
   <td>支持</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>难易程度</td> 
   <td>简单</td> 
   <td>较复杂</td> 
   <td>简单</td> 
   <td>一般</td> 
   <td>一般</td> 
  </tr> 
  <tr> 
   <td>公司</td> 
   <td>OpenSymphony</td> 
   <td>当当网</td> 
   <td>个人</td> 
   <td>个人</td> 
   <td>个人</td> 
  </tr> 
  <tr> 
   <td>高级功能</td> 
   <td>—</td> 
   <td>弹性扩容，多种作业模式，失效转移，运行状态收集，多线程处理数据，幂等性，容错处理，spring命名空间支持</td> 
   <td>弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布）,任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化</td> 
   <td>任务分片， 失效转移，弹性扩容 ，</td> 
   <td>时间规则支持quartz和crontab ，kill任务， 现场执行，查询任务运行状态</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>没有管理界面，以及不支持任务分片等。不适用于分布式场景</td> 
   <td>需要引入zookeeper , mesos, 增加系统复杂度, 学习成本较高</td> 
   <td>调度中心通过获取 DB锁来保证集群中执行任务的唯一性， 如果短任务很多，随着调度中心集群数量增加，那么数据库的锁竞争会比较厉害，性能不好。</td> 
   <td>不支持动态添加任务</td> 
   <td>不适用于分布式场景</td> 
  </tr> 
  <tr> 
   <td>使用企业</td> 
   <td>大众化产品，对分布式调度要求不高的公司大面积使用</td> 
   <td>36氪，当当网，国美，金柚网，联想，唯品会，亚信，平安，猪八戒</td> 
   <td>大众点评，运满满，优信二手车，拍拍贷</td> 
   <td>—</td> 
   <td>—</td> 
  </tr> 
 </tbody> 
</table>

**END**

[想读Spring源码？先从这篇「 极简教程」开始][Spring_]

[99%的程序员都在用Lombok，原理竟然这么简单？我也手撸了一个！|建议收藏！！！][99_Lombok]

[![format_png 5][]][format_png 5 1]

[《大厂内部资料》Redis 性能优化的 13 条军规！全网首发][format_png 5 1]

![format_png 6][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9Icld3Nlp1WENzaGdLNmFIM0VRcjZpYVFNWDJ1anpkZkRWSnhOYkxYNjR3dkhQUkRzWDgyU0lSREJlV0RLQWVRaWEzR080T21pYm01UlpqTmpibDA0NlR5dy82NDA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9KZExrRUk5c1pmZE16c1VaZkJNMFpoaGVDTGx0a3JtaWNvM1NpYWxPY0hjUE5VSWNacTY5bm9oUGtRYXB0V1hpY255RkhTd1RVRjc3a2U2ZlhmT3lLcDZZdy82NDA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZE16c1VaZkJNMFpoaGVDTGx0a3JtaWNjcTlwd2VjcXlsSHlJWDJpYzM2dEpHaWI2MU9sVUhHTklZTWhwcDNiNzk0TlJQNzNMakN3cUNHdy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9KZExrRUk5c1pmZE16c1VaZkJNMFpoaGVDTGx0a3JtaWNETzdBM2NCTjlUQUhpYm9XNFBOUzMwME54QTl4VWpxOVY2Tk5OU01Tb0Y5WjhWNE94Q1g4aWJsdy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9KZExrRUk5c1pmZE16c1VaZkJNMFpoaGVDTGx0a3JtaWMxdE8xTGxyUldkcDJWaWNnR3I3ZUxNYVhpY2NqekFpY2piTHJkWnRmZEZEcjBvaWNRZmliZWM5WHpIUS82NDA?x-oss-process=image/format,png
[Spring_]: https://blog.csdn.net/sufu1065/article/details/105421030
[99_Lombok]: https://blog.csdn.net/sufu1065/article/details/105351947
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9Icld3Nlp1WENzaWFUN25ub2pLV2ljTUVJVVlPaWFKQlhVTHkycFQ1Y2FSaWE3Q3VGem9pYjU1Z0hSZDc3TkZ2TGlhRFh4NHo3QjF2RHhMVmljMlBpYjBIalNnenhnLzY0MA?x-oss-process=image/format,png
[format_png 5 1]: http://mp.weixin.qq.com/s?__biz=MzU1NTkwODE4Mw%3D%3D&chksm=fbcc68ccccbbe1dae2af7a65ebd8148454bf331d68006f67cfa8ca56add5df5810b173563609&idx=1&mid=2247484916&scene=21&sn=d49ea56a1725aa140fc222266c1fc32f#wechat_redirect
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9Icld3Nlp1WENzZ2NIc0dkU25tUjF0UUdZMTAxYkFRT2liMU9IaDZkeDdQRnZBUGdxbHVqVmhIMnBJQWxzQWJvRVY0WXlwRk84WjdSVk5kTEpwaWJJRjJ3LzY0MA?x-oss-process=image/format,png