写点什么

全票通过!易观开源项目 DolphinScheduler 进入 Apache 孵化器

  • 2019-09-17
  • 本文字数:2126 字

    阅读完需:约 7 分钟

全票通过!易观开源项目DolphinScheduler进入Apache孵化器

美国时间 2019 年 8 月 29 日,易观开源的分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)正式通过顶级开源组织 Apache 基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。


根据 Apache 基金会邮件列表显示,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。


“Welcome to Apache incubator,DolphinScheduler!”



易观贡献的 DolphinScheduler 进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler 社区将遵循「The Apache Way」,秉承更加兼容并包与开放多样化的心态,由衷欢迎更多的开发者参与到社区中来,Committer 虚位以待!


DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,同时具有强大的可视化操作界面。DolphinScheduler 曾用名为“EasyScheduler”,由于名称已在国外某 App 使用,经社区讨论与投票后改名为 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。我们希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。

易观缘何开发 DolphinScheduler?

2017 年,易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时,受到 ETL 复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,我们渴望找到一个具有以下功能的数据调度工具:


  • 易于使用,开发人员可以通过非常简单的拖拽操作构建 ETL 过程。不仅对于 ETL 开发人员,无法编写代码的人也可以使用此工具进行 ETL 操作,例如系统管理员和分析师

  • 解决“复杂任务依赖”问题,并且可以实时监视 ETL 运行状态

  • 支持多租户

  • 支持许多任务类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure 等

  • 支持 HA 和线性可扩展性


易观技术团队意识到现有开源项目没有能够达到我们要求的,因此决定自行开发这个工具。我们在 2017 年底设计了 DolphinScheduler 的主要架构;2018 年 5 月完成第一个内部使用版本,后来我们又迭代了几个内部版本后,系统逐渐稳定下来。

家有 DolphinScheduler 初长成

易观 DS 团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,积极拥抱开源,曾贡献过 Presto Hbase Connector, Presto Kudu Connector 等令开发者称赞的项目。此次在公司的支持下,也积极将自己的开发的调度工具推动开源,旨在回馈开源的同时,助力打造更为强大的开源生态。


易观 DS 团队在 2019 年 3 月初,小范围(10 多家公司)开放了 DS 的种子用户试用,得到了非常正能量的反馈,在 4 月初的正式对外开放源码后,很快就获得了许多开发人员的关注兴趣,目前 github 上的 star 现在已超过 1700 个,参与开发和使用的公司包括嘀嗒滴答出行、雪球、凤凰金融、水滴互助、华润万家等(参见https://github.com/apache/incubator-dolphinscheduler/issues/57)。

DolphinScheduler 的特点

DolphinScheduler 提供了许多易于使用的功能,可加快数据 ETL 工作开发流程的效率。其主要特点如下:


  • 通过拖拽以 DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作

  • 支持工作流全局参数及节点自定义参数设置

  • 支持集群 HA,通过 Zookeeper 实现 Master 集群和 Worker 集群去中心化

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数,并行或串行回填数据


目前,DolphinScheduler 在中国已经拥有了一个 1300 多位伙伴组成的用户及开发者社区。它也被许多公司和组织广泛采用作为其 ETL 调度工具。我们热烈欢迎更多的用户和开发者加入到贡献的队伍中来,让我们国人开源的调度引擎在世界开源生态中占据一席之地。


特别感谢愿意给 DolphinScheduler 提供指导的 champion 和 mentors,以及数百位提出 issue 和建议以及使用的伙伴们的贡献和大力支持;感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴。


同时感谢 GitHub mybatis-plus社区 ,在得知 DolphinScheduler 想使用 mybatis-plus 来支持多数据库,特地发版去掉了 NPL 协议;感谢易观前端团队开源的高质量 UI 组件库ans-ui

写在最后

我们坚信将 DolphinScheduler 引入 Apache 可以推动更强大,更多样化的开源社区的发展。我们将努力践行“Community Over Code”的 Apache 文化,同时欢迎更多的公司和个人参与到开发者队伍中来,让 DolphinScheduler 社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!


目前 DolphinScheduler 的所有源代码和所有相关文档已捐赠给 Apache Software Foundation。这些代码已经在 Apache License Version 2.0 下:


代码库:https://github.com/apache/incubator-dolphinscheduler


文档:https://analysys.github.io/easyscheduler_docs_cn/


在线 demo:http://106.75.43.194:8888


2019-09-17 13:075875

评论 2 条评论

发布
用户头像
so awesome
2020-03-07 08:06
回复
用户头像
欢迎大家关注: https://github.com/apache/incubator-dolphinscheduler, 欢迎任何形式的建议和贡献!一起让DolphinScheduler成为优秀作品!
2019-09-24 14:57
回复
没有更多了
发现更多内容

我感兴趣的技术四剑客 | 社区征文

法医

前端 年中技术盘点

从混沌到秩序的蜕变,SRE解码云计算运维奥秘

鲸品堂

云计算 SRE SRE实践 企业号 7 月 PK 榜

wrk - 本地压测工具实操

Monin

高性能 压测 性能调优 #性能测试 wrk

NFTScan 成为 Binance NFT 官方 NFT 数据提供商

NFT Research

NFT\ API 接口

数智化底座正在成为当前竞争的焦点

用友BIP

数智底座

体系完整的数智化底座支撑企业创新发展,实现国产替代

用友BIP

国产替代

Mybatis-SQL分析组件 | 京东云技术团队

京东科技开发者

mybatis sql mybatis入门 企业号 7 月 PK 榜

掌握 Dubbo:入门教程

Apifox

程序员 gRPC dubbo RPC 开发

七月创作之星挑战赛开始咯~

Openlab_cosmoplat

开源 开源社区 创作活动

网易三个S级项目制作人,为什么选择在这个渠道“爆料”?

最新动态

一辆没有“刹车”的跑车,你敢开多快?

原点安全

数据资产价值 数据安全管理 贴源保护

持续推进平台化、生态化用友助力数智化安全有效落地

用友BIP

信创 国产替代

全新技术驱动预算管理全面升级

用友BIP

全面预算

基于STM32的300W无刷直流电机驱动方案

元器件秋姐

驱动 无刷电机 直流电机 SMT32 FOC

实例讲解看nsenter带你“上帝视角”看网络

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 7 月 PK 榜

云拨测全面升级丨单次拨测低至 0.001 元

阿里巴巴云原生

阿里云 云原生 可观测 云拨测

科兴未来|2023“直通乌镇” 全球互联网大赛

科兴未来News

Unity JobSystem使用及技巧

快乐非自愿限量之名

Unity 教程

使用第一性原理思维思考如何打造提高生产力的平台 | 京东云技术团队

京东科技开发者

数字化转型 平台工程 企业号 7 月 PK 榜

一文搞懂Git,掌握日常命令和基本操作

互联网工科生

git 知识

Kubernetes云原生实战:分布式GeaFlow实现图研发,构建第一个商业智能应用

TuGraphAnalytics

Kubernetes 云原生 k8s BI 商业智能

小白逆袭研发工程师 ——HDC.Cloud 2023华为云Astro分论坛

华为云PaaS服务小智

云计算 华为云 华为开发者大会2023

谁在以太坊区块链上循环交易?GeaFlow+Kafka的0元流图解决方案

TuGraphAnalytics

区块链 以太坊 kafka 图计算 GeaFlow

华为云GaussDB亮相2023可信数据库发展大会,荣获三项评测证书!

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

那些不用js也能实现的效果

高端章鱼哥

CSS JavaScript html css3

Pytorch: autograd与逻辑回归的实现

timerring

人工智能

谈谈分布式事务

Monin

分布式事务 微服务 云原生 事务 java 编程

热门实践丨如何结合实际业务进行 ECS 规格选型与容量验证

阿里巴巴云原生

阿里云 云原生 ECS PTS

SpringIoc容器之Aware | 京东云技术团队

京东科技开发者

spring aware springloc Aware 接口 企业号 7 月 PK 榜

APP流水线测试领域探索与最佳实践 | 京东物流技术团队

京东科技开发者

测试 app测试 app自动化测试 企业号 7 月 PK 榜

CST电磁仿真软件配置的CPU、内存、显卡显存越大越好吗?

思茂信息

cst cst使用教程 cst操作 cst电磁仿真 cst仿真软件

全票通过!易观开源项目DolphinScheduler进入Apache孵化器_语言 & 开发_代立冬_InfoQ精选文章