写点什么

中小型研发团队架构实践:任务调度 Job

  • 2017-12-05
  • 本文字数:3054 字

    阅读完需:约 10 分钟

一、Job 简介

Job 类似于数据库中的作业,多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob,其中,WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现,HttpJob 的服务端是自主开发实现的,可以直接定时调用你的计划任务如微服务。下面分别予以介绍。

二、WinJob

WinJob 使用 Quartz.NET+ZooKeeper 来实现,Quartz.NET 实现调度,ZooKeeper 使用 MasterElection 来实现高可用,解决单点问题。ZooKeeper 后继有文章单独介绍,这里重点介绍 Quartz.NET 框架的使用。

Quartz.NET 是一个全功能的开源任务调度框架,通过简单的配置就可以实现强大的任务调度功能,使得开发人员不用过多关注任务的调度,只用关注项目的业务逻辑。使用任务调度框架的价值:

  1. 提高开发效率:开发人员只需要编写业务代码,而具体的任务调度只需要通过配置就可以实现。
  2. 提高软件的可靠性:同一应用多个任务之间可以很好的隔离起来,互不影响。
  3. 降低开发人员成本和开发复杂度:开发人员不需要对线程、Timer 很了解,就能实现一个强大的执行计划应用。
  4. 容易迁移:只需实现 Quartz.IJob 接口即可,调用一次业务逻辑的入口即可。
  5. 容易扩展:新业务只需增加配置即可。

基于 Quartz.NET 实现 Job 调度的方法:

在后端服务声明实例化一个调度器,在启动服务的时候启动调度器,相应的代码如下所示:

复制代码
/// <summary>        
/// 当前调度服务的调度器        
/// </summary>        
public IScheduler CurrentSched
{
  get; private set;
}
public JobService()        
{    
  InitializeComponent();  
  StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();                
  CurrentSched = schedulerFactory.GetScheduler();      
}        
protected override void OnStart(string[] args)        
{    
  CurrentSched.Start();                
  logger.Info(" 调度服务成功启动!");        
}

创建相应的任务和触发器,之后把任务和关联的触发器加入之前声明的调度器 CurrentSched,相应的代码如下所示:

复制代码
/// <summary>        
/// 演示一个任务多触发器的使用        
/// </summary>        
private static void JobWithManyTriggerDemo()         {                
   IJobDetail simpleJob = JobBuilder.Create<SimpleJob>().WithIdentity(" 任务名称 ", " 任务组名 ").Build(); // 创建一个 simpleJob 任务                
   ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 3", " 触发器组名 ").StartNow()        
       .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build();   // 创建一个简单触发器,每隔 5 秒执行一次        
   CurrentSched.ScheduleJob(simpleJob, simpleTrigger);    // 把 simpleJob 任务、简单触发器加入调度器        
   ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 4", " 触发器组名 ").StartNow()        
       .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build();   // 创建一个为任务“simpleJob”服务的 Cron 触发器,每隔 10 秒执行一次      
    CurrentSched.ScheduleJob(cronTrigger);   // 把 Cron 触发器加入调度器        
}

在业务逻辑层继承 IJob 接口,并实现 Execute 方法,在该方法内实现需要调度的业务逻辑,相应的代码如下所示:

复制代码
/// <summary>    
/// 简单任务    
/// </summary>    
public class SimpleJob : IJob    
{            
   ILog logger = LogManager.GetLogger(typeof(SimpleJob));    
   public void Execute(IJobExecutionContext context)                
   {      
       Console.WriteLine(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));      
       logger.Info(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));                    
       // 业务逻辑处理                    
       Thread.Sleep(2000);            
    }    
}

三、HttpJob

通过自主开发的 JobServer,结合自主开发的 Job 集中式管理平台,可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可,无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

JobServer 实现的主要逻辑:

  1. 借助 Quartz,可实现多个线程(如 10 个线程)同时调用多个 HttpJob;
  2. 实现了 Get、Post、Head 三种方式的请求;
  3. 借助 ZooKeeper 的 MasterElection 来实现高可用,实现自动主备切换;
  4. 记录日志,方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

在集中式 Job 管理平台中,配置相应的 Job 信息。配置完 Job 信息后,JobServer 获取到这些 Job 信息后,就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

其中请求地址就是 JobServer 实际定时调用的任务的 http 地址,例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势

  1. 高可用:借助网站集群巧妙地解决 Job 服务的单点问题。
  2. 方便发布:不用重启 Job 服务。
  3. 减少依赖,易学易用,不用关注线程、Windows 服务方面的知识。
  4. 数据分片,可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束

  1. 由于请求 HttpJob 的最长响应时间是 30 秒,所以 Job 运行时间一旦超过 30 秒,则建议为 Job 先创建异步线程,立即返回。
  2. Job 调度的频率最少间隔时间是 1 分钟,因为通过 HttpJob 通知并不是件高效的事情。
  3. 为了安全应建立专业的 Job 集群,一般两台即可,外部不可访问,SLB 采用简单轮询方案。
  4. 新增及修改 Job 配置,10 分钟生效。

四、Cron 表达式

Cron 表达式格式:秒 分 时 日 月 周 年(可选)。要遵守的规范请见下表:

五、Demo 下载及更多资料

本系列文章涉及内容清单如下(并不按这顺序发布),其中有感兴趣的,欢迎关注:

作者介绍

张辉清,10 多年的 IT 老兵,先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务,主导过两家公司的技术架构升级改造工作。现关注架构与工程效率,技术与业务的匹配与融合,技术价值与创新。

杨丽,拥有多年互联网应用系统研发经验,曾就职于古大集团,现任职中青易游的系统架构师,主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据。

感谢雨多田光对本文的审校。

2017-12-05 16:476193

评论

发布
暂无评论
发现更多内容

详解GPU虚拟化技术

Finovy Cloud

人工智能 云渲染 GPU服务器

基于EasyCV复现ViTDet:单层特征超越FPN

阿里云大数据AI技术

自然语言处理 异构计算 深度学习/机器学习 编译码

如何玩转“听到头疼用了爱”的函数计算

明道云

Java—线程安全

武师叔

6月月更

窃取证书的攻击流程及抓包分析

网络安全学海

黑客 网络安全 信息安全 渗透测试 WEB安全

从概念到安全实践:软件供应链基础指南

SEAL安全

DevOps 安全 DevSecOps 软件供应链

好的产品帮助文档可以留住一个用户的心

小炮

【协程】ViewModelScope源码解析

yechaoa

android 协程 6月月更 ViewModelScope

直播场景音频降噪,传统算法 VS AI 算法对比和实践

融云 RongCloud

2022,云上开发新纪元

Heighliner

云原生 #k8s 开发者, 远程开发

认识一下什么是JSP

华为云开发者联盟

Java jsp 网页 前段

力扣每日一练之二分查找Day10

京与旧铺

6月月更

vue-class与style绑定

小恺

6月月更

传统企业数字化转型,到底难在哪里?

SoFlu软件机器人

Charles 工具如何做断点测试

伤心的辣条

Python 程序人生 软件测试 自动化测试 接口测试

【题解】剑指 Offer 05. 替换空格(C语言)

未见花闻

6月月更

Python自动化测试之模块、包与路径知识讲解

伤心的辣条

Python 程序员 程序人生 软件测试 自动化测试

手慢无!‘’阿里爸爸‘’6月最新开源新版Spring Cloud Alibaba全体系10w字全彩笔记

Java全栈架构师

Java 程序员 面试题 架构师 SpringCloud

改变世界的开发者丨以梦为码,华工小哥的致青春

华为云开发者联盟

数据库 华为云

一个算子在深度学习框架中的旅程

OneFlow

深度学习 算法 框架设计

测试基础之:自动化测试

甜甜的白桃

软件测试 自动化测试 6月月更

始于架构,精于治理|阿里云中间件开发者大会火热报名中

阿里巴巴中间件

阿里云 开发者 中间件

天人合一物我相融,站点升级渐进式Web应用PWA(Progressive Web Apps)实践

刘悦的技术博客

前端 App 应用 Web JS SDK PWA

什么是真正的敏捷开发?敏捷开发与瀑布开发有何不同

阿里云云效

云计算 阿里云 敏捷开发 研发 开发模式

使用GeekCode在开发中分离计算和存储

王泰

CloudIDE 云 IDE

教你搭建一个Telegraf+Influxdb+Grafana 监控系统

华为云开发者联盟

云计算 华为云

Nydus —— 下一代容器镜像的探索实践

SOFAStack

开源 云原生 dragonfly 容器镜像

ScheduledThreadPoolExecutor

急需上岸的小谢

6月月更

用 docker 创建 jmeter 容器,实现性能测试

伤心的辣条

Python 程序员 软件测试 自动化测试 程序员‘

SOL staking质押现已在 AscendEX Earn 上线

鳄鱼视界

ConcurrentHashMap性能测试

FunTester

中小型研发团队架构实践:任务调度Job_架构_张辉清_InfoQ精选文章