写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021-04-09
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021-04-09 11:384333
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 363.9 次阅读, 收获喜欢 1802 次。

关注

评论

发布
暂无评论
发现更多内容

语音识别技术:从传统到现代的飞跃

来自四九城儿

DevEco Hvigor高效编译,构建过程新秘籍

HarmonyOS开发者

HarmonyOS

语音识别技术的优化与发展趋势

来自四九城儿

【评测有奖】参加 SAE 2.0 产品评测,赢 Airpods 2 大奖!

阿里巴巴云原生

阿里云 Serverless 云原生

软件开发人员 Kubernetes 入门指南|Part 2

SEAL安全

软件开发 kubernetes 运维 企业号10月PK榜

CSS小技巧之绘制心形图案

南城FE

CSS css3 前端 心形

GitHub爆赞,啃完这份500多页Java多线程笔记,阿里入职在望

程序员万金游

#java #程序员 #学习 #并发 #多线程

简洁的看图软件 XnViewMP激活中文最新版

胖墩儿不胖y

Mac软件 看图软件 图像编辑器

数字时代的自我呈现:探索个人形象打造的创新工具——FaceChain深度学习模型工具

汀丶人工智能

人工智能 计算机视觉 图像生成

基于 ACK Fluid 的混合云优化数据访问(五):自动化跨区域中心数据分发

阿里巴巴云原生

阿里云 云原生 ACK

全网最细-深度解析 Istio Ambient Mesh 流量路径

阿里巴巴云原生

阿里云 云原生 服务网格

Mac平台视频后期合成和特效制作软件:Nuke 15

展初云

Mac Mac软件 视频后期制作 nuke

2023年10款好用的AI生成PPT软件盘点,干货建议收藏!

彭宏豪95

效率 软件 职场 PPT AIGC

BigTime会是链游新的领航员吗?

币离海

财务共享中心的人员如何进行“选、育、用、留”?

用友BIP

财务共享

合约跟单/交易所开发方案,合约跟单/交易所系统dapp开发(稳定版)丨源码规则详细

V\TG【ch3nguang】

交易所开发(海外版)/交易所系统开发(案例详细)/交易所系统源码及demo

V\TG【ch3nguang】

Python 集合(Sets)2

小万哥

Python 程序员 软件 后端 开发

LeetCode题解:1486. 数组异或操作,模拟,JavaScript,详细注释

Lee Chen

Swap去中心化交易所/系统开发技术/Swap智能合约交易所源码搭建

V\TG【ch3nguang】

哪家强?Bitget Wallet vs Metamask 从安全性能角度全方位 PK

股市老人

文心一言 VS 讯飞星火 VS chatgpt (111)-- 算法导论10.2 2题

福大大架构师每日一题

福大大架构师每日一题

合约量化/现货交易/合约跟单/秒合约/系统开发技术分析

V\TG【ch3nguang】

Linux和UNIX的关系及区别

芯动大师

运营SOP,高效运营的核心打法

用友BIP

数智营销

Zilliz X Dify.AI ,快速打造知识库 AI 应用

Zilliz

大模型 Zilliz LLM zillizcloud

如何有效改进erp管理系统?erp管理系统改进建议方向

优秀

ERP管理系统

合约跟单/永续合约系统开发/交割合约/现货交易/Python技术编写

V\TG【ch3nguang】

合约跟单系统开发/跟单量化交易机器人/合约交易技术开发详情

V\TG【ch3nguang】

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目_开源_万佳_InfoQ精选文章