发布了 39 篇内容
共 18.2字, 被阅读 7242次
获得了 14 次赞同
获得了 8次喜欢, 获得了 6 次收藏
参与了 12 次互动
互动包含发布评论、点赞评论、参与投票等
DolphinScheduler 集成 Arthas 实现接口调用监控,提升调度任务可靠性
本文介绍了在 Apache DolphinScheduler 中嵌入 Arthas 的方法,以实现对接口调用的监控。Arthas 是一款强大的 Java 诊断工具,能够帮助开发者实时查看应用程序的运行状态、性能瓶颈和方法调用情况。在 DolphinScheduler 中集成 Arthas,可以方便地捕获任务调度时的关键
使用 SeaTunnel 从 InfluxDB 同步数据到 Doris
本文介绍了如何使用 SeaTunnel 将数据从 InfluxDB 同步到 Doris。通过 SeaTunnel 强大的数据集成功能,用户可以高效地将存储于 InfluxDB 中的时间序列数据传输至 Doris,便于数据的访问与分析。
DolphinScheduler 集成 Arthas 实现接口调用监控,提升调度任务可靠性
本文介绍了在 Apache DolphinScheduler 中嵌入 Arthas 的方法,以实现对接口调用的监控。Arthas 是一款强大的 Java 诊断工具,能够帮助开发者实时查看应用程序的运行状态、性能瓶颈和方法调用情况。
白鲸开源发布迁移工具 Airphin 并开源,2 步迁移 Airflow 至 Dolphinscheduler
白鲸开源正式发布调度系统迁移工具 Airphin,并宣布将其开源。借助 Airphin,用户可 2 步将调度系统从 Airflow 迁移至 Apache DolphinScheduler,为有调度系统迁移需要的用户带来极大便利。
非代码的贡献也能成为 Committer,我与 DolphinScheduler 社区的故事
每个人对于”开源社区“的定义都不一样,在社区的想法也完全不一样,我认为玩开源就像”谈恋爱“,要想方设法对它好,在接触 Apache DolphinScheduler 社区之后,我从”非技术“的视角真真实实地感受到了 Apache Way 。
BIGO 如何做到夜间同时运行 2.4K 个工作流实例?
主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务,以及为了满足业务需求、提升用户使用体验,在 DS 和 Spark 上所做的各种改进。
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
2010 年,我国进入移动互联网,数据规模成几何式增长。在大数据开源技术领域,以 Hadoop 为核心的大数据生态系统面对海量数据也不断发展与迭代,大数据处理流程中的各个开源组件,也一起开启了狂飙突进的大数据时代,推动整个行业开启了数字化变革之路。
突破单点瓶颈、挑战海量离线任务,Apache Dolphinscheduler 在生鲜电商领域的落地实践
惊喜:文末有插件推荐,随着大数据的进一步发展,不管是离线任务量还是实时任务量都变得越来越多,对调度系统的要求也越来越高,不仅要求系统稳定还要求操作简单,上手方便。
挑战海量数据:基于 Apache DolphinScheduler 对千亿级数据应用实践
对于千亿级数据量的数据同步需求,进行分析和选型后,最终决定使用 DolphinScheduler 进行任务调度,并周期调度 DataX、SparkSQL 等方式进行海量数据迁移。
Apache Dolphin Scheduler 3.0.1 发布,对核心及 UI 相关进行优化
点亮 ⭐️ Star · 照亮开源之路
ApacheCon Asia 2022 精彩回顾 | 如何让更多人从大数据中获益?
点亮 ⭐️ Star · 照亮开源之路
最新评论
一文读懂,硬核 Apache DolphinScheduler3.0 源码解析