全票通过！易观开源项目DolphinScheduler进入Apache孵化器

梦里梦外; 2024-04-19 10:07 58阅读 0赞

###                   **全票通过！易观开源项目DolphinScheduler进入Apache孵化器** ###

美国时间2019年8月29日，**易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目！**

根据Apache基金会[邮件列表][Link 1]显示，在包含11个约束性投票(binding votes)和2个无约束性投票(non-binding votes)的投票全部持赞同意见，无弃权票和反对票，投票顺利通过。

**               “Welcome to Apache incubator，DolphinScheduler！”**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70][]

易观贡献的DolphinScheduler进入 Apache 孵化器，是易观开源项目的重要里程碑， DolphinScheduler社区将遵循「The Apache Way」, 秉承更加兼容并包与开放多样化的心态，由衷欢迎更多的开发者参与到社区中来，Committer虚位以待！

**DolphinScheduler****是一个分布式易扩展的可视化 DAG 工作流任务调度系统，致力于解决数据处理流程中错综复杂的依赖关系，同时具有强大的可视化操作界面。**DolphinScheduler曾用名为“EasyScheduler”，由于名称已在国外某App使用，经社区讨论与投票后改名为DolphinScheduler，简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，有左右脑可互相换班，终生不用睡觉）。我们希望DolphinScheduler就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。

**易观缘何开发DolphinScheduler？**

2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，我们渴望找到一个具有以下功能的数据调度工具：

*  易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师
 *  解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态
 *  支持多租户
 *  支持许多任务类型：Shell，MR，Spark，SQL（mysql，postgresql，hive，sparksql），Python，Sub\_Process，Procedure等
 *  支持HA和线性可扩展性

易观技术团队意识到现有开源项目没有能够达到我们要求的，因此决定自行开发这个工具。我们在2017年底设计了DolphinScheduler的主要架构；2018年5月完成第一个内部使用版本，后来我们又迭代了几个内部版本后，系统逐渐稳定下来。

**家有DolphinScheduler初长成**

易观技术团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”，秉持易观“让数据能力平民化”的初心，积极拥抱开源，曾贡献过Presto Hbase Connector, Presto Kudu Connector等令开发者称赞的项目。此次在公司的支持下，也积极将自己的开发的调度工具推动开源，旨在回馈开源的同时，助力打造更为强大的开源生态。

团队在2019年3月初，小范围(10多家公司)开放了DS的种子用户试用，得到了非常正能量的反馈，在4月初的正式对外开放源码后，很快就获得了许多开发人员的关注兴趣，目前github上的star现在已超过1700个，参与开发和使用的公司包括嘀嗒出行、雪球、凤凰金融、水滴互助、华润万家等（参见[https://github.com/apache/incubator-dolphinscheduler/issues/57][https_github.com_apache_incubator-dolphinscheduler_issues_57]）。

**DolphinScheduler****的特点**

DolphinScheduler提供了许多易于使用的功能，可加快数据ETL工作开发流程的效率。其主要特点如下：

*  通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
 *  支持丰富的任务类型
 *  支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作
 *  支持工作流全局参数及节点自定义参数设置
 *  支持集群HA，通过 Zookeeper实现 Master 集群和 Worker 集群去中心化
 *  支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
 *  支持补数，并行或串行回填数据

**欢迎调度小伙伴加入共建世界顶级的开源项目！**

目前，DolphinScheduler在中国已经拥有了一个1300多位伙伴组成的用户及开发者社区。它也被许多[公司和组织][Link 2]广泛采用作为其ETL调度工具。我们热烈欢迎更多的用户和开发者加入到贡献的队伍中来，让我们国人开源的调度引擎在世界开源生态中占据一席之地！

**感谢参与社区的贡献者！**

特别感谢愿意给DolphinScheduler提供指导的champion和mentors:

** Champion:**

1.  Sheng Wu ( Apache Incubator PMC, Apache officer, [wusheng@apache.org][wusheng_apache.org])

### **Mentors:** ###

1.  Sheng Wu ( Apache Incubator PMC, Apache officer, [wusheng@apache.org][wusheng_apache.org])
2.  ShaoFeng Shi ( Apache Incubator PMC, [shaofengshi@apache.org][wusheng_apache.org])
3.  Liang Chen ( Apache Incubator PMC, Apache member, [chenliang613@apache.org][chenliang613_apache.org])
4.  Furkan KAMACI ( Apache Incubator PMC, Apache member, kamaci@apache.org)
5.  Kevin Ratnasekera ( Apache Incubator PMC, Apache member, djkevincr@apache.org)

### **initial committers:** ###

1.  William-GuoWei([guowei20m@outlook.com][guowei20m_outlook.com])
2.  Lidong Dai([lidong.dai@outlook.com][lidong.dai_outlook.com])
3.  Zhanwei Qiao([qiaozhanwei@outlook.com][qiaozhanwei_outlook.com])
4.  Liang Bao([baoliang.leon@gmail.com][baoliang.leon_gmail.com])
5.  Gang Li([lgcareer2019@outlook.com][lgcareer2019_outlook.com])
6.  Zijian Gong([quanquansy@gmail.com][quanquansy_gmail.com])
7.  Jun Gao([gaojun2048@gmail.com][gaojun2048_gmail.com])
8.  Baoqi Wu([wubaoqi@gmail.com][wubaoqi_gmail.com])

**积极参与的贡献者:**

chongchongzi 、 [lfyee][]、[mnloveyx][]、[李林][Link 3]、

[白强][Link 4]、[杨孟霏][Link 5]、[胡将][Link 6]、[王金海][Link 7]、[风清扬][Link 8]、[林忠俊][Link 9]、

[jiangzhx][]、[HangtongLee][]、[hymzcn][]、[jimmy201602][]、

[feloxx][]、[xianhu][]、[yangqinlong][]、[hebin][]、

[shafi-1][]、[mchcz][]、[jamescheng16][]、[xtony][]、[chekore][]、

[LgbDemo][]、[马泽国][Link 10]、[刘小春][Link 11]、[Crossoverrr][]、[jxauwxj][]

## ##

此外还要感谢数百位提出issue和建议以及使用的伙伴们的贡献和大力支持；感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴！

特别感谢github [mybatis-plus社区][mybatis-plus] ，在得知DolphinScheduler想使用mybatis-plus来支持多数据库，特地发版去掉了NPL协议；感谢易观前端团队开源的高质量 UI 组件库[ans-ui][]！

**写在最后**

我们坚信将DolphinScheduler引入Apache可以推动更强大，更多样化的开源社区的发展。我们将努力践行“Community Over Code“的Apache文化，同时欢迎更多的公司和个人参与到开发者队伍中来，让DolphinScheduler社区更加健壮、健康的发展，让更多人享受开源带来的技术革命！

目前DolphinScheduler的所有源代码和所有相关文档已捐赠给Apache Software Foundation。这些代码已经在Apache License Version 2.0下：

代码库：[https://github.com/apache/incubator-dolphinscheduler][https_github.com_apache_incubator-dolphinscheduler]

文档：[https://analysys.github.io/easyscheduler\_docs\_cn/][https_analysys.github.io_easyscheduler_docs_cn]

在线demo：[http://106.75.43.194:8888][http_106.75.43.194_8888]

为促进技术圈的茁壮发展，增进Apache DolphinScheduler使用者的交流与学习，易观举办 “Apache DolphinScheduler(incubator) User Meetup” 全国巡回活动，2019 年将陆续在北京、上海等地举行，邀请业内资深的技术专家，分享实战经验，促进互联网技术的普及。

本次巡回 Meetup首站将于10月26日在上海和大家见面，报名链接：[https://www.huodongxing.com/event/6510540610400][https_www.huodongxing.com_event_6510540610400]

11月23日，北京站报名链接[https://www.huodongxing.com/event/2510544145000][https_www.huodongxing.com_event_2510544145000]

欢迎大家来交流！

<table> 
 <tbody> 
 <tr> 
 <td> Apache DolphinScheduler(incubator) User Meetup·Shanghai &nbsp; <img alt="" height="238" src="https://img-blog.csdnimg.cn/20190917071930662.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70" width="402"> Date: 2019，Oct, 26 （2019年10月26日） Meetup Place: Fourth Floor, Building 1, Founder 1107 Yuyuan Road, Changning District, Shanghai.（上海长宁区愚园路1107号创邑1号楼4楼） Agenda（议程）: 1、Introduction/overview of DolphinScheduler (William-GuoWei). 2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao). 3、DolphinScheduler practice（Draw up） 4、DolphinScheduler from Zero to One （Draw up） 5、DolphinScheduler practice（Draw up） 6、Recently released features and Roadmap (Lidong Dai) 7、Free discussion </td> 
 </tr> 
 </tbody> 
</table>

附：DolphinScheduler部分功能截图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 3][]

[Link 1]: https://lists.apache.org/thread.html/c736c98cbbeb4e0d892c82daf3ddf2b3d1e31693776c5217f4a79683@%3Cgeneral.incubator.apache.org%3E
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4f89b5cd41894989ae16ef39c827c3ad.png
[https_github.com_apache_incubator-dolphinscheduler_issues_57]: https://github.com/apache/incubator-dolphinscheduler/issues/57
[Link 2]: https://github.com/analysys/EasyScheduler/issues/57
[wusheng_apache.org]: mailto:wusheng@apache.org
[chenliang613_apache.org]: mailto:chenliang613@apache.org
[guowei20m_outlook.com]: mailto:guowei20m@outlook.com
[lidong.dai_outlook.com]: mailto:lidong.dai@outlook.com
[qiaozhanwei_outlook.com]: mailto:qiaozhanwei@outlook.com
[baoliang.leon_gmail.com]: mailto:baoliang.leon@gmail.com
[lgcareer2019_outlook.com]: mailto:lgcareer2019@outlook.com
[quanquansy_gmail.com]: mailto:quanquansy@gmail.com
[gaojun2048_gmail.com]: mailto:gaojun2048@gmail.com
[wubaoqi_gmail.com]: mailto:wubaoqi@gmail.com
[lfyee]: https://github.com/lfyee
[mnloveyx]: https://github.com/mnloveyx
[Link 3]: https://github.com/samz406
[Link 4]: https://github.com/bailgot
[Link 5]: https://github.com/BiStarTechnology
[Link 6]: https://github.com/hujiang75277381
[Link 7]: https://github.com/manbuyun
[Link 8]: https://github.com/pegeon001
[Link 9]: https://github.com/linjun007
[jiangzhx]: https://github.com/jiangzhx
[HangtongLee]: https://github.com/HangtongLee
[hymzcn]: https://github.com/hymzcn
[jimmy201602]: https://github.com/jimmy201602
[feloxx]: https://github.com/feloxx
[xianhu]: https://github.com/xianhu
[yangqinlong]: https://github.com/yangqinlong
[hebin]: https://github.com/swxchappy
[shafi-1]: https://github.com/shafi-1
[mchcz]: https://github.com/mchcz
[jamescheng16]: https://github.com/jamescheng16
[xtony]: https://github.com/chgxtony
[chekore]: https://github.com/chekore
[LgbDemo]: https://github.com/LgbDemo
[Link 10]: https://github.com/kevinZeguo
[Link 11]: https://github.com/khadgarmage
[Crossoverrr]: https://github.com/Crossoverrr
[jxauwxj]: https://github.com/jxauwxj
[mybatis-plus]: https://github.com/baomidou/mybatis-plus
[ans-ui]: https://github.com/analysys/ans-ui
[https_github.com_apache_incubator-dolphinscheduler]: https://github.com/apache/incubator-dolphinscheduler
[https_analysys.github.io_easyscheduler_docs_cn]: https://analysys.github.io/easyscheduler_docs_cn/
[http_106.75.43.194_8888]: http://106.75.43.194:8888
[https_www.huodongxing.com_event_6510540610400]: https://www.huodongxing.com/event/6510540610400
[https_www.huodongxing.com_event_2510544145000]: https://www.huodongxing.com/event/2510544145000
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6c81695e31a44f3e8adea6b321d80e1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/02af14d954d24bd0ba8f04117031ec2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saWRvbmcuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/dd9bdb72f06443a0986ad3616a8a904f.png