写点什么

中小型研发团队架构实践:任务调度 Job

  • 2017-12-05
  • 本文字数:3054 字

    阅读完需:约 10 分钟

一、Job 简介

Job 类似于数据库中的作业,多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob,其中,WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现,HttpJob 的服务端是自主开发实现的,可以直接定时调用你的计划任务如微服务。下面分别予以介绍。

二、WinJob

WinJob 使用 Quartz.NET+ZooKeeper 来实现,Quartz.NET 实现调度,ZooKeeper 使用 MasterElection 来实现高可用,解决单点问题。ZooKeeper 后继有文章单独介绍,这里重点介绍 Quartz.NET 框架的使用。

Quartz.NET 是一个全功能的开源任务调度框架,通过简单的配置就可以实现强大的任务调度功能,使得开发人员不用过多关注任务的调度,只用关注项目的业务逻辑。使用任务调度框架的价值:

  1. 提高开发效率:开发人员只需要编写业务代码,而具体的任务调度只需要通过配置就可以实现。
  2. 提高软件的可靠性:同一应用多个任务之间可以很好的隔离起来,互不影响。
  3. 降低开发人员成本和开发复杂度:开发人员不需要对线程、Timer 很了解,就能实现一个强大的执行计划应用。
  4. 容易迁移:只需实现 Quartz.IJob 接口即可,调用一次业务逻辑的入口即可。
  5. 容易扩展:新业务只需增加配置即可。

基于 Quartz.NET 实现 Job 调度的方法:

在后端服务声明实例化一个调度器,在启动服务的时候启动调度器,相应的代码如下所示:

复制代码
/// <summary>        
/// 当前调度服务的调度器        
/// </summary>        
public IScheduler CurrentSched
{
  get; private set;
}
public JobService()        
{    
  InitializeComponent();  
  StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();                
  CurrentSched = schedulerFactory.GetScheduler();      
}        
protected override void OnStart(string[] args)        
{    
  CurrentSched.Start();                
  logger.Info(" 调度服务成功启动!");        
}

创建相应的任务和触发器,之后把任务和关联的触发器加入之前声明的调度器 CurrentSched,相应的代码如下所示:

复制代码
/// <summary>        
/// 演示一个任务多触发器的使用        
/// </summary>        
private static void JobWithManyTriggerDemo()         {                
   IJobDetail simpleJob = JobBuilder.Create<SimpleJob>().WithIdentity(" 任务名称 ", " 任务组名 ").Build(); // 创建一个 simpleJob 任务                
   ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 3", " 触发器组名 ").StartNow()        
       .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build();   // 创建一个简单触发器,每隔 5 秒执行一次        
   CurrentSched.ScheduleJob(simpleJob, simpleTrigger);    // 把 simpleJob 任务、简单触发器加入调度器        
   ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 4", " 触发器组名 ").StartNow()        
       .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build();   // 创建一个为任务“simpleJob”服务的 Cron 触发器,每隔 10 秒执行一次      
    CurrentSched.ScheduleJob(cronTrigger);   // 把 Cron 触发器加入调度器        
}

在业务逻辑层继承 IJob 接口,并实现 Execute 方法,在该方法内实现需要调度的业务逻辑,相应的代码如下所示:

复制代码
/// <summary>    
/// 简单任务    
/// </summary>    
public class SimpleJob : IJob    
{            
   ILog logger = LogManager.GetLogger(typeof(SimpleJob));    
   public void Execute(IJobExecutionContext context)                
   {      
       Console.WriteLine(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));      
       logger.Info(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));                    
       // 业务逻辑处理                    
       Thread.Sleep(2000);            
    }    
}

三、HttpJob

通过自主开发的 JobServer,结合自主开发的 Job 集中式管理平台,可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可,无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

JobServer 实现的主要逻辑:

  1. 借助 Quartz,可实现多个线程(如 10 个线程)同时调用多个 HttpJob;
  2. 实现了 Get、Post、Head 三种方式的请求;
  3. 借助 ZooKeeper 的 MasterElection 来实现高可用,实现自动主备切换;
  4. 记录日志,方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

在集中式 Job 管理平台中,配置相应的 Job 信息。配置完 Job 信息后,JobServer 获取到这些 Job 信息后,就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

其中请求地址就是 JobServer 实际定时调用的任务的 http 地址,例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势

  1. 高可用:借助网站集群巧妙地解决 Job 服务的单点问题。
  2. 方便发布:不用重启 Job 服务。
  3. 减少依赖,易学易用,不用关注线程、Windows 服务方面的知识。
  4. 数据分片,可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束

  1. 由于请求 HttpJob 的最长响应时间是 30 秒,所以 Job 运行时间一旦超过 30 秒,则建议为 Job 先创建异步线程,立即返回。
  2. Job 调度的频率最少间隔时间是 1 分钟,因为通过 HttpJob 通知并不是件高效的事情。
  3. 为了安全应建立专业的 Job 集群,一般两台即可,外部不可访问,SLB 采用简单轮询方案。
  4. 新增及修改 Job 配置,10 分钟生效。

四、Cron 表达式

Cron 表达式格式:秒 分 时 日 月 周 年(可选)。要遵守的规范请见下表:

五、Demo 下载及更多资料

本系列文章涉及内容清单如下(并不按这顺序发布),其中有感兴趣的,欢迎关注:

作者介绍

张辉清,10 多年的 IT 老兵,先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务,主导过两家公司的技术架构升级改造工作。现关注架构与工程效率,技术与业务的匹配与融合,技术价值与创新。

杨丽,拥有多年互联网应用系统研发经验,曾就职于古大集团,现任职中青易游的系统架构师,主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据。

感谢雨多田光对本文的审校。

2017-12-05 16:476503

评论

发布
暂无评论
发现更多内容

一周吃透Java面试八股文(2023最新整理)

Java你猿哥

Java kafka Spring Boot JVM java面试

云数据库技术沙龙|多云多源下的数据复制技术解读-NineData

NineData

MySQL Clickhouse 数据管理 多云多源 数据存取

AI 大底座,大模型时代的答卷

百度Geek说

人工智能 百度 文心一言 企业号 5 月 PK 榜

Java并发编程必备:分布式锁的选型和性能对比

做梦都在改BUG

Java 数据库 分布式锁

在Bamboo上怎么使用iOS的单元测试 | 京东云技术团队

京东科技开发者

ios 单元测试 代码覆盖率 Bamboo 企业号 5 月 PK 榜

用户分享 | Dockquery,一个国产数据库客户端的初体验

BinTools图尔兹

用户体验 国产数据库工具

阿里全新推出:微服务突击手册,把所有操作都写出来了|超清PDF

做梦都在改BUG

Java 架构 微服务 Spring Cloud spring cloud alibaba

本周日直播,全链路数据治理实践论坛开放报名

阿里云大数据AI技术

大数据 数据治理

Redis和MySQL扛不住,B站分布式存储系统如何演进?

Java你猿哥

Java MySQL redis ssm kv

开源之夏 2023 | 与 Databend 一同探索云数仓的魅力

Databend

精选!字节大佬带你一周刷完Java面试八股文,比啃书效果好多了

Java你猿哥

Java 算法 ssm java面试 java知识点

Webpack5构建性能优化:构建耗时从150s到60s再到10s | 京东云技术团队

京东科技开发者

性能优化 webpack webpack-tapable 企业号 5 月 PK 榜

k8s+Docker部署方法

Java你猿哥

Java Docker k8s ssm 架构师

硬核!阿里最新出品架构核心场景实战手册,解决99%的架构问题

Java你猿哥

微服务 架构设计 架构师 架构场景实战 微服务实战

零信任是什么意思?与堡垒机有什么区别?

行云管家

网络安全 堡垒机 零信任

基于图神经网络的推荐算法

TiAmo

神经网络 算法 推荐算法

阿里官方上线!号称Java面试八股文天花板(2023最新版)首次开源

Java你猿哥

Java redis Spring Boot JVM java面试

鲸鸿动能广告接入如何高效变现流量?

HarmonyOS SDK

HMS Core

震撼来袭!最具中国特色的微服务组件:新一代SpringCloud Alibaba

做梦都在改BUG

Java 架构 微服务 Spring Cloud spring cloud alibaba

重磅发布!阿里巴巴专家亲自撰写,Dubbo 3.0 分布式实战(彩印版)

做梦都在改BUG

Java 分布式 微服务 dubbo

牛掰!阿里架构师熬夜肝了一份JVM必知必会,哪里不会查哪里

做梦都在改BUG

Java 性能优化 JVM

如何选择最优权限框架?Sa-Token 和 Shiro 对比

做梦都在改BUG

shiro Sa-Token

独家巨献!阿里专家兼Github贡献者,整理的SpringBoot入门到成神

做梦都在改BUG

Java spring 架构 微服务 Spring Boot

硬核Prompt赏析:HuggingGPT告诉你Prompt可以有多“工程”

无人之路

ChatGPT Prompt

MySQL百万数据深度分页优化思路分析

Java你猿哥

Java MySQL 数据库 ssm 优化技术

从浏览器输入域名开始分析DNS解析过程

华为云开发者联盟

开发 华为云 DNS 华为云开发者联盟 企业号 5 月 PK 榜

责任链模式在复杂数据处理场景中的实战

阿里技术

设计模式 技术实践

构建万物互联,华为云IoT+鸿蒙重燃物体感知

华为云开发者联盟

鸿蒙 物联网 华为云 华为云开发者联盟 企业号 5 月 PK 榜

来了!昇腾MindStudio全流程工具链分论坛精彩回顾,助力高效开发和迁移效率提升

科技热闻

一路同行,端点科技与海尔集团相伴十年的数字之旅

科技热闻

中小型研发团队架构实践:任务调度Job_架构_张辉清_InfoQ精选文章