QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

探寻繁杂定时任务的解决方案:分布式任务调度系统

  • 2021-01-09
  • 本文字数:2945 字

    阅读完需:约 10 分钟

探寻繁杂定时任务的解决方案:分布式任务调度系统

本文我们从架构和技术实现上来为大家讲解腾讯云分布式任务调度系统 TCT(Tencent Cloud Task)如何实现任务调度的精准实时、稳定高效,以及任务的切分和编排。


背景介绍


缘起缘灭,自有因果


首先, 我们来思考一些几个业务场景:


  • XX 信用卡中心,每月 28 日凌晨 1:00 到 3:00 需要完成全网用户当月的费用清单的生成。

  • XX 服饰,需要每天上午 9:00 开始向会员推送送生日祝福短信。

  • XX 游戏平台,新用户注册后,需要为当前用户生成定时任务, 在月底清算虚拟货币兑换的佣金额度。

  • XX 公司,需要定时执行 Python 脚本,清理掉某文件服务系统中无效的 tmp 文件。

  • XX 保险公司,需要每天凌晨 2:00 统计前一天新增保单数量,并触发报表生成任务,完成后抄送邮件。


类似上述批量处理海量定时任务的业务场景,企业从单体架构向微服务架构、云化服务架构演进过程中已经屡见不鲜,基于 Quartz 的常规调度框架已无法应对这种分布式场景下的需求,既无法实现任务调度的精准实时、稳定高效,也无法实现任务的切分、编排、失败补充。因此企业迫切需要一款一站式分布式调度任务解决方案,帮助企业统一管理繁杂纷乱的定时任务,增强企业微服平台服务化能力,支撑企业云化服务转型。


现有的开源方案


它山之石可以攻玉 ...


在过往的发展中, 前人留下了不少优秀的方案, 各有利弊。常见开源产品: Quartz、XXL-Job、ElasticJob、Antares、SIA-TASK 等。


  • Quartz:该框架应用最为广泛,其完全基于 Java 实现,Quartz 对单个任务的控制基本做到了极致,以其强大功能和应用灵活性,成为开源任务调度领域的权威及同类开源产品如 Antares 的基石;

  • XXL-JOB:一个轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。XXL-JOB 支持分片,支持简单任务依赖,支持子任务依赖,不支持跨平台的。

  • Elastic-Job:支持任务分片(作业分片一致性),没有任务编排,不支持跨平台;

  • SIA-TASK:具有跨平台、可编排、高可用、无侵入、一致性、异步并行、动态扩展、实时监控等特点。


开源方案的技术实现图


开源方案的技术实现图


从开源方案的逻辑架构和技术实现上,我们也能直观的看出开源方案的不足:


  • 架构方面:调度器职责划分不清晰、系统扩展性不足。面对大规模虚拟化 &复杂的网络环境,简单的远程调用并不能完成胜任。

  • 性能方面:ZooKeeper 集群伴随任务量和高频事件的增多,成为系统性能瓶颈。简的远程调用或者任务拉取等方案, 满足不了量大频高的业务诉求。

  • 功能方面:缺乏完整认证鉴权方面的系统设计,安全性无法保障。任务干预、监控告警等系统运维方面能力较弱。


TCT 简介


为了解决上述问题,我们进行了深入的探索,并设计出了一套企业级的分布式任务调度系统 TCT(Tencent Cloud Task)。TCT 提供一站式分布式调度任务解决方案,支持随机、广播多种任务类型,具备任务分片、任务编排能力,提供完善的监控告警体系。我们结合了用户实际的业务场景,吸取了历史经验,主要解决了面几个核心问题:



以上核心要素,对系统的要求各不相同,可提供如下总结进行参考:



技术架构


技术架构图


下面我们解释下架构图中的各个功能模块:



功能架构


功能架构图


这样设计分布式任务调度系统,有以下几个优点:


优点一:模块化微服务架构设计, 职责清晰


触发器

  • 只需根据任务执行规则,计算解析出不同时点的任务触发事件。通过 MQ 的实现可靠性投递(后续文章会逐步讲解如何实现可靠性投递),起到削峰填谷,避免高峰 IO 等问题, 提高吞吐量。

  • 通过合理的分片策略和容灾策略,解决传统多节点锁竞争轮训的解析加载策略,降低对存储的压力。

  • 冷热数据隔离加载机制,进一步降低对存储压力和系统开销。

  • 根据高频的任务执行策略,采取预加载策略和动态调整预加载算法,解决高频触发导致系统负载高的问题。

调度器

  • 整个任务调度系统中控制逻辑最为复杂的组件,IO 密集型组件。

  • 通过订阅 MQ 消息事件,与触发器解耦,有效提升系统的吞吐。

  • 专注于任务调度的逻辑控制,如任务执行调度、负载均衡、容错、限流、计费等。

接入网关

  • 独立承担客户端的接入认证和鉴权,提供有效的权限校验策略。

  • 负责上下行信道的回话管理,与复杂的业务逻辑完成解耦。

  • 客户端节点及服务节点上下线自动探测感知机制,有效实现会话管理。

  • 数据透传及路由,实现组件内闭环。

  • 配合 SDK/Agent 侧设计,有效避免了单节点连接数瓶颈以及服务节点冷起场景下的高并发 tcp 建立连接问题。


优点二:无状态化设计,简便水平扩展


触发器

  • 通过有效的分片策略,在实现避免触发压力集中化的情况下,可快捷的完成服务的弹性扩缩容,实现近似无状态的水平扩展。

调度器

  • 完全无状态的设计方案,无需考虑任务的回源问题,实现无状态的水平扩容。

接入网关

  • 完全无状态的设计方案,可实现无状态的水平扩容,实现理论上 TCP 连接数无上限。


优点三:功能完备


灵活的触发规则

  • 支持 Cron 表达式,例如 * 0/5 * * * ? 等。

  • 特定周期频率的触发规则,例如 间隔 36 分钟等。


便捷的管理能力,提供暂停、恢复、停止、重试等多种多样的管控能力。



任务管理


支持三种执行方式


  • 随机节点执行:选择集群中一个可用的执行节点执行调度任务。适用场景:定时对账。

  • 广播执行:在集群中所有的执行节点分发调度任务并执行。适用场景:批量运维。

  • 分片执行:按照用户自定义分片逻辑进行拆分,分发到集群中不同节点并行执行,提升资源利用效率。适用场景:海量日志统计。


任务调度执行方式


支持三种触发方式


  • 手动触发:用户在任务管理列表选择特定任务手动执行一次,调度器立即进行任务分发,并产生一个执行批次。适用场景:周期执行任务补充。

  • 周期触发:通过设置任务触发的间隔时间来设置任务的执行时间;可支持 cron 表达式所不支持的周期设置。适用场景:定时备份。

  • 工作流触发:工作流是一组任务集合,可以编排任务的上下游逻辑依赖,进行任务触发。适用场景:海量数据处理,如数据采集,数据过滤,数据清洗,数据聚合的流程编排。


任务触发方式


日志溯源能力


通过日志服务, 方便用户查询任务执行日志。用户可以通过执行记录所有任务的执行批次详情,能够对当前状态为执行中的批次进行停止执行操作,能够对当前已经终止的批次触发重新执行操作;点击批次 ID 进入该批次的执行详情,点击任务 ID 进入该任务的执行批次列表,点击执行部署组进入资源详情列表。


日志查询


支持复杂的任务编排能力


可以实现多种场景的任务工作流。通过构建调度任务的上下游依赖关系完成复杂的任务调度逻辑。适用于大数据流程处理、任务执行工单、批量运维流程编排等应用场景。


任务编排


总结


一个平台性的系统,从产品功能到技术架构都存在着方方面面的挑战,需要层层抽象和逐步优化才能完成一个成熟产品落地。在大数据时代,面对海量的数据和用户规模,任何一种架构设计,都面临着网络响应、 容错、幂等、数据可靠性/一致性等诸多问题。


对于平台而言,任务的可靠性是第一优先级需要考虑的,次之任务执行的时效性。合理地进行功能模块化拆分,针对不同场景,设计不同的扩展方案,保证 SLA 的前提下提升系统整体吞吐,实现可靠有效触达,应对频高量大的业务场景。


对于用户而言,多样化的管理手段、多维度的运行指标查询, 全方位的链路监控则是用户追求的,只有让用户从复杂混乱的定时任务场景中抽离出来,才能更加专注在业务研发。



头图:Unsplash

作者:李登科、刘阎

原文:https://mp.weixin.qq.com/s/KEAZ0w11pxKoGKP468X_HQ

原文:探寻繁杂定时任务的解决方案:分布式任务调度系统

来源:腾讯云中间件 - 微信公众号 [ID:gh_6ea1bc2dd5fd]

转载:著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

2021-01-09 23:104192

评论 1 条评论

发布
用户头像
开源吗
2021-01-11 10:48
回复
没有更多了
发现更多内容

软件测试/测试开发/全日制/测试管理丨Android WebView 技术原理

测试人

软件测试

外贸自建站推广为何首选谷歌广告?谷歌广告的优势在哪?

九凌网络

Authing 入选中国信通院《 2023 高质量数字化转型产品及服务全景图》

Authing

中国信通院 信通院 Authing

5分钟带您了解DRS录制回放

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟

软件测试/测试开发/全日制/测试管理丨iOS 自动化相关工具

测试人

软件测试

软件测试/测试开发/全日制/测试管理丨兼容性测试

测试人

软件测试

电子签章接口调用,以契约锁为例

Geek_2a38d5

电子签章 契约锁

Sketch Measure for Mac中文破解版 sketch标注插件下载

南屿

Sketch Measure mac中文版 sketch标注插件

软件测试/测试开发/全日制/测试管理丨多设备管理平台 STF

测试人

软件测试

刚上线三天,OpenAI GPT 商店的「AI 女友」就已泛滥丨 RTE 开发者日报 Vol.126

声网

API可视化编排如何实现

RestCloud

API ipaas API可视化

Java Chassis 3技术解密:负载均衡选择器

华为云PaaS服务小智

云计算 软件开发 华为云

荣耀开发者大会2023 · 一张图读懂设计分论坛

荣耀开发者服务平台

AI 设计 开发者大会 honor

30款绚彩天空背景特效PS渐变-Photoshop天空渐变

南屿

ps渐变 天空背景特效 Photoshop素材

电商API接口入门指南

Noah

2023年度优秀贡献者名单正式公布!恭喜 36 个团队/个人、30+企业上榜

OpenAnolis小助手

开源 操作系统 龙蜥社区 获奖 榜单

Lightroom预设资源-高级食物lr预设 附lr预设导入教程

南屿

高级食物lr预设 Lightroom预设下载 lr预设怎么导入

软件测试/测试开发/全日制/测试管理丨CSS Selector

测试人

软件测试

photoshop色轮插件Coolorus怎么安装 附Coolorus 许可证

南屿

Coolorus mac版 PS调色插件 Coolorus许可证 Coolorus安装教程

大型企业SD-WAN异地组网实例分析

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商

第七在线智能商品计划签约潮流风向标Alexander Wang亚历山大·王

第七在线

如何开通免费域名邮箱 企业邮箱

景博

ScaleUp插件使用方法 附ScaleUp for Mac破解版资源

南屿

高级视频增强工具 ScaleUp插件下载 ScaleUp mac破解版 AE/PR插件

FCPX插件-动态视频运动模糊视觉特效 mMotion Blur 支持Intel和Apple M芯片

南屿

fcpx动态视频 运动模糊视觉特效 fcpx插件下载 fcpx特效

SD-WAN服务简介及挑选服务商指南

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商

实用fcpx插件:Photo Montage(轻松制作照片动画)

南屿

fcpx fcpx插件

探寻繁杂定时任务的解决方案:分布式任务调度系统_语言 & 开发_腾讯云中间件_InfoQ精选文章