写点什么

全票通过!易观开源项目 DolphinScheduler 进入 Apache 孵化器

  • 2019-09-17
  • 本文字数:2126 字

    阅读完需:约 7 分钟

全票通过!易观开源项目DolphinScheduler进入Apache孵化器

美国时间 2019 年 8 月 29 日,易观开源的分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)正式通过顶级开源组织 Apache 基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。


根据 Apache 基金会邮件列表显示,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。


“Welcome to Apache incubator,DolphinScheduler!”



易观贡献的 DolphinScheduler 进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler 社区将遵循「The Apache Way」,秉承更加兼容并包与开放多样化的心态,由衷欢迎更多的开发者参与到社区中来,Committer 虚位以待!


DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,同时具有强大的可视化操作界面。DolphinScheduler 曾用名为“EasyScheduler”,由于名称已在国外某 App 使用,经社区讨论与投票后改名为 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。我们希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。

易观缘何开发 DolphinScheduler?

2017 年,易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时,受到 ETL 复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,我们渴望找到一个具有以下功能的数据调度工具:


  • 易于使用,开发人员可以通过非常简单的拖拽操作构建 ETL 过程。不仅对于 ETL 开发人员,无法编写代码的人也可以使用此工具进行 ETL 操作,例如系统管理员和分析师

  • 解决“复杂任务依赖”问题,并且可以实时监视 ETL 运行状态

  • 支持多租户

  • 支持许多任务类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure 等

  • 支持 HA 和线性可扩展性


易观技术团队意识到现有开源项目没有能够达到我们要求的,因此决定自行开发这个工具。我们在 2017 年底设计了 DolphinScheduler 的主要架构;2018 年 5 月完成第一个内部使用版本,后来我们又迭代了几个内部版本后,系统逐渐稳定下来。

家有 DolphinScheduler 初长成

易观 DS 团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,积极拥抱开源,曾贡献过 Presto Hbase Connector, Presto Kudu Connector 等令开发者称赞的项目。此次在公司的支持下,也积极将自己的开发的调度工具推动开源,旨在回馈开源的同时,助力打造更为强大的开源生态。


易观 DS 团队在 2019 年 3 月初,小范围(10 多家公司)开放了 DS 的种子用户试用,得到了非常正能量的反馈,在 4 月初的正式对外开放源码后,很快就获得了许多开发人员的关注兴趣,目前 github 上的 star 现在已超过 1700 个,参与开发和使用的公司包括嘀嗒滴答出行、雪球、凤凰金融、水滴互助、华润万家等(参见https://github.com/apache/incubator-dolphinscheduler/issues/57)。

DolphinScheduler 的特点

DolphinScheduler 提供了许多易于使用的功能,可加快数据 ETL 工作开发流程的效率。其主要特点如下:


  • 通过拖拽以 DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作

  • 支持工作流全局参数及节点自定义参数设置

  • 支持集群 HA,通过 Zookeeper 实现 Master 集群和 Worker 集群去中心化

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数,并行或串行回填数据


目前,DolphinScheduler 在中国已经拥有了一个 1300 多位伙伴组成的用户及开发者社区。它也被许多公司和组织广泛采用作为其 ETL 调度工具。我们热烈欢迎更多的用户和开发者加入到贡献的队伍中来,让我们国人开源的调度引擎在世界开源生态中占据一席之地。


特别感谢愿意给 DolphinScheduler 提供指导的 champion 和 mentors,以及数百位提出 issue 和建议以及使用的伙伴们的贡献和大力支持;感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴。


同时感谢 GitHub mybatis-plus社区 ,在得知 DolphinScheduler 想使用 mybatis-plus 来支持多数据库,特地发版去掉了 NPL 协议;感谢易观前端团队开源的高质量 UI 组件库ans-ui

写在最后

我们坚信将 DolphinScheduler 引入 Apache 可以推动更强大,更多样化的开源社区的发展。我们将努力践行“Community Over Code”的 Apache 文化,同时欢迎更多的公司和个人参与到开发者队伍中来,让 DolphinScheduler 社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!


目前 DolphinScheduler 的所有源代码和所有相关文档已捐赠给 Apache Software Foundation。这些代码已经在 Apache License Version 2.0 下:


代码库:https://github.com/apache/incubator-dolphinscheduler


文档:https://analysys.github.io/easyscheduler_docs_cn/


在线 demo:http://106.75.43.194:8888


2019-09-17 13:075804

评论 2 条评论

发布
用户头像
so awesome
2020-03-07 08:06
回复
用户头像
欢迎大家关注: https://github.com/apache/incubator-dolphinscheduler, 欢迎任何形式的建议和贡献!一起让DolphinScheduler成为优秀作品!
2019-09-24 14:57
回复
没有更多了
发现更多内容

测试开发 | 人工智能时代的责任与法规:构建可持续智能发展框架

测吧(北京)科技有限公司

测试

将 Python 和 Rust 融合在一起,为 pyQuil® 4.0 带来和谐

Swift社区

rust Python Monad

SpamSieve for mac(邮件过滤工具) v3.0.3完整激活版

mac

苹果mac Windows软件 SpamSieve 电子邮件过滤软件

Radio Silence for mac(简单好用的防火墙)v3.2激活版

iMac小白

语音数据集:智能语音技术的基石与挑战

来自四九城儿

RWKV: 轻松实现大模型本地私有化部署

百度开发者中心

人工智能 深度学习 大模型

赛博威新一代TPM营销费用管理指南——费用管理类型篇

赛博威科技

数字化转型 营销费用管理 赛博威 销售费用管理 费用管理类型

软件测试/测试开发丨SQL多表查询 学习笔记

测试人

sql 软件测试 测试开发

测试开发 | 人工智能时代的公平性与透明度:构建更公正智能未来

测吧(北京)科技有限公司

测试

Eagle for Mac(图片管理工具)v1.9.2中文版

iMac小白

软件测试/测试开发丨测试流程体系-学习笔记

测试人

软件测试 测试开发

北京师范大学心理学部副部长骆方:智能化人才测评技术进展

用友BIP

智能化人才测评

测试开发 | 人工智能时代的挑战与机遇:数据隐私保护探析

测吧(北京)科技有限公司

测试

测试开发 | 人工智能规则引擎:智能决策的引擎舵手

测吧(北京)科技有限公司

测试

从BERT到ChatGPT:预训练大模型的演变与突破

百度开发者中心

人工智能 nlp 大模型

WAVE SUMMIT+ 2023 今日开场!奉上完整预告和参会指南,今天见!

飞桨PaddlePaddle

人工智能 深度学习 开发者 WAVE SUMMIT

做好数据管理体系 发挥企业数据乘数效应

用友BIP

数据

不可避免,制造企业要在供应链“韧性”上下苦功

用友BIP

数智采购

RapidClick for mac(鼠标自动点击软件)v1.5.1激活版

iMac小白

测试开发 | 人工智能本体论(Ontology):赋予机器智慧的知识之源

测吧(北京)科技有限公司

测试

Mint Blockchain:每一轮牛市都离不开资产协议标准的创新

NFT Research

blockchain NFT\ L2

源码补丁神器—patch-package

京东科技开发者

ETLCloud X 明道云实现无缝数据连接

RestCloud

数据同步 ETL 明道云

MAMP PRO for Mac v6.8.1永久激活版 专业的Web开发环境

iMac小白

BERT实现多标签文本分类:强大模型的应用与展望

百度开发者中心

自然语言处理 大模型 LLM

ABBYY FineReader PDF 15 for Mac(ocr文字识别软件)v15.2.13中文激活版

iMac小白

场外白名单达到1200U?Solana 生态铭文跨链桥 Sobit 是何神圣?

大瞿科技

“踩坑”经验分享:Swift语言落地实践

百度Geek说

ios swift 开发语言 企业号12月PK榜

测试开发 | 人工智能时代的挑战与机遇:数据隐私保护探析

测吧(北京)科技有限公司

测试

全票通过!易观开源项目DolphinScheduler进入Apache孵化器_语言 & 开发_代立冬_InfoQ精选文章