写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021-04-09
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021-04-09 11:384386
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 366.7 次阅读, 收获喜欢 1802 次。

关注

评论

发布
暂无评论
发现更多内容

那一年,我们在巴塞罗那找到的「ONES 图腾」

万事ONES

ONES

加速企业数据应用创新的核心能力——灵活性

用友BIP

数据中台 创新 用友

小熊派:用OpenHarmory3.0点亮LED

华为云开发者联盟

小熊派 OpenHarmony 驱动开发 小熊派Micro LED

用实例带你深入理解Java内存模型

华为云开发者联盟

Java JVM JMM 线程安全 Java内存模型

安全专属的移动数字化平台WorkPlus加速国企数字化转型

BeeWorks

外包学生管理系统架构设计

炎彬

「架构实战营」

一句话回顾会

Bruce Talk

敏捷 Agile 回顾会 Coach/Facilitate

低代码实现探索(三十二)多版本开发/本地开发

零道云-混合式低代码平台

千万级车联网 MQTT 消息平台架构设计|车联网平台搭建从入门到精通 02

EMQ映云科技

架构 车联网 物联网 mqtt 分布式消息流平台

详解近端策略优化

行者AI

深度强化学习

网络安全kali渗透学习 web渗透入门Metasploitable2靶机系统介绍

学神来啦

【邀请函】3月4日平台赋能 数智创新 ———用友BIP PaaS云平台iuap数智化百城论坛·济南站

用友BIP

用友 用友iuap 企业数智化 平台赋能 数智创新

哈佛商业评论对话王文京:如何制定正确的数智化战略和路径?

用友BIP

用友 数智化

3月2日,阿里云开源 PolarDB 企业级架构将迎来重磅发布

阿里云数据库开源

数据库 阿里云 开源 分布式 polarDB

前后端分离项目,如何解决跨域问题?

CRMEB

TDengine在蔚来能源系统的落地实践

TDengine

MySQL 数据库 tdengine 物联网 时序数据库

什么是数字化转型?

BeeWorks

数据治理:从一把手工程到数据文化!

用友BIP

数据治理 用友 用友iuap 数据文化

J2PaaS企业级低代码平台,如何支撑开发企业级应用?

J2PaaS低代码平台

低代码 低代码开发 企业级低代码平台 企业级应用

2022年中国数字孪生城市市场分析:孪生城市产业经济全域协作

易观分析

数字孪生

丰e足食将大量引入算法人才 加快无人零售算法研发和应用

江湖老铁

16 张图解带你掌握一致性哈希算法

华为云开发者联盟

负载均衡 分布式系统 一致性哈希 哈希算法 数据迁移

Linux中buff-cache占用过高解决方案

入门小站

Linux

中国信息通信研究院云计算与大数据研究所一行莅临亚信科技考察交流

亚信AntDB数据库

中台和低代码,“零和”还是“竞合”?

BeeWorks

元年云李彤:ToB产品应具备数据驱动和「宽能力」

ToB行业头条

在线JWT Token解析解码

入门小站

工具

【web安全】你的open_basedir安全吗?

H

网络安全 WEB安全

针对 Kubernetes v1.22,阿里云容器服务 ACK 提供了哪些升级和增强能力?

阿里巴巴云原生

阿里云 容器 云原生 产品升级 ACK

通过5个函数带你理解K8s DeltaFIFO

华为云开发者联盟

k8s Queue Client-go DeltaFIFO FIFO

重磅!博睿数据发布新一代统一告警平台

博睿数据

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目_开源_万佳_InfoQ精选文章