HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

任务分发系统 -Qcmd-http 详解

  • 2019-11-28
  • 本文字数:2166 字

    阅读完需:约 7 分钟

任务分发系统-Qcmd-http详解

Qcmd 是 360 云平台底层的命令执行系统,为了让 Qcmd 能够更好的为业务提供服务,我们在 Qcmd 的上层封装了一层 Qcmd-http 任务分发系统,Qcmd-http 系统同样采用 Golang 编写。它主要负责以下几个事情:


1.实现 qcmd 的集群分布式,维护 qcmd 集群的高可用。


2.支持更复杂的任务类型以满足复杂的业务场景。


3.将业务与底层的 qcmd 彻底解耦。

1 360 云平台任务执行的流程图

首先,让我们在 360 云平台上,从页面的视角来观察一下整个执行的过程吧。


1.选择脚本,选择要执行的主机,执行任务。



注:zjl.sh 脚本是我随手写的,里面执行的是查看当前主机名的命令


2.任务的状态会经过处理中到执行成功,在任何时候,你都可以点击查看按钮来观察任务执行的当前状态以及每个 minion 的任务执行结果。




2 名词解释

1.minion,直译过来是奴才的意思,表示最终要执行任务的主机。比如你要执行一个 hostname 的命令,最终是在 minion 主机上执行的。


2.master,直译过来是主人的意思,表示接收业务方任务请求,下发给 minion 主机执行,并收集 minion 执行结果,将结果反馈给业务方的主机。


3.集群,为了维护系统的高可用,通常我们不会将 master 的系统只部署在一台机器上,实际上,我们目前是部署在 2 台主机上,这两台 master 主机以及他们下面连接的 minion,我们称它为一个集群,具体集群的状态以及工作机制,稍后会有详细地介绍。


4.分布式,如果只有一个集群,当 minion 的主机数据日渐增多时,master 的压力会比较大,而且北京的 master 给上海的 minion 下发任务,理论上肯定不如北京的 master 下发到北京的 minion 来的快,所以为了高性能并且去中心化,我们以机房为维度搭建了多个集群, 以达到不同的集群服务于不同的 minion 的作用,详见下面的分布式集群拓扑。

3 分布式集群

1.分布式集群拓扑



2.集群拓扑


4 集群的状态

  1. master 的状态

  2. master 的结构是一主一从(也可以是一主多从),minion 与集群中的所有 master 都保持着连接,只有主 master 提供对外服务,qcmd-http 系统在数据库维护着 master 与集群的关系,以及 master 的主从状态,一旦主 master 出现故障,可以将从 master 与主 master 的角色互换,新的主 master 会继续提供对外的服务。

  3. minion 的状态

  4. minion 的状态也有两种,up 和 down,主 master 每隔一段时间会给已经通过认证的 minion 主机发送 test-ping 心跳包,来获取当前 minion 的存活状态,如果 minion 主机 down 掉了,会通知 qcmd-http 分发系统,分发系统在数据库中将此 minion 的状态置为 down。

5 任务的类型

线上业务的任务不只是执行 hostname 这样简单的一条命令,为了满足绝大多数的业务使用场景,qcmd-http 分发系统支持了 4 种不同类型的任务


  1. 单任务-串行阻塞,比如你要在 minion-01,minon-02,minion-03 三台主机上执行命令 hostname,但是你想让 minion-01 主机先执行,如果 minion-01 主机执行成功了,再执行 minion-02 主机,如果 minion-01 主机执行失败了,那么任务就终止了。



  1. 单任务-串行非阻塞,与单任务的串行阻塞的原理相似,只不过当 minion-01 主机执行失败时,任务会继续往下执行,并不会终止,直到所有的 minion 执行完。



  1. 单任务-并行,线上业务的串行单任务场景并不多,大部分是并行任务。比如你想要同时在 minion-01,minion-02,minion-03 三台主机上执行任务,那么并行的单任务就比较合适了。



  1. 组任务-串行,有时候业务的任务并不是简单的执行一行命令或者是一个脚本,而是很复杂的一个过程。拿我们 mysql 的实例创建来说,它需要初始化主,初始化从,申请 lvs,初始化 failover 等等一系列的子任务,那么业务可以把整个 mysql 实例的创建包装成一个组任务,把其中的每个步骤当成一个子任务。整个组任务是串行执行的,只有当上一个子任务执行成功后,才执行下一个子任务,如果子任务执行失败,组任务就会终止。


6 任务的状态

  1. 主机的执行状态,不管是什么任务类型,最终都会落在 minion 主机上去执行,任务刚创建时,minion 处理等待执行的状态,master 收到任务请求后,会通知 minion 执行任务,并通知 qcmd-http 将 minion 的状态标记为处理中,minion 执行完后,将执行结果返回给 master ,master 再通知 qcmd-http 将 minion 的状态标记为成功或者失败。

  2. 单任务的状态,单任务的状态是根据该任务下的 minion 的状态和单任务的类型来更新的,分为等待处理,处理中,成功,失败和超时等几个状态。

  3. 组任务的状态,组任务的状态是根据其子任务的状态来更新的,组任务分为等待处理,处理中,成功,失败和超时等几个状态。

7 任务的回调

由于所有的任务都是异步执行的,单任务执行完会返回给调用方一个 job_id,组任务执行完会返回一个 group_id,qcmd-http 分发系统提供查询接口来支持查看任务的执行结果,同时,也支持任务回调的方式,业务在调用执行任务的接口时,可以同时指定一个回调地址,当任务执行结束,成功或者失败都会回调指定的回调地址通知对方任务的执行结果。

8 Qcmd 任务系统整体设计

总结

最初设计 qcmd-http 的主要目的是将业务与底层的 qcmd 彻底解耦,让整个系统结构更清晰,责任也更明确。


上线至今,qcmd-http 已经提供服务一年多了,目前执行过的单任务总数达到 50 多万,组任务数 20 多万。


本文转载自公众号 360 云计算(ID:hulktalk)。


原文链接:


https://mp.weixin.qq.com/s/sxSqgFCf1tA2yGlayj1hXA


2019-11-28 15:541640

评论

发布
暂无评论
发现更多内容

JVM中unsafe.cpp源码

Darren

c++ 源码 JVM unsafe

9块钱,构建个私有网盘,关键不限速

华为云开发者联盟

网站 OBS 在线网盘 华为云 云存储

week12 homework

burner

区块链支付系统源码开发,USDT承兑支付平台

13530558032

CPU中的程序是怎么运行起来的(预告篇)

良知犹存

cpu

Java中强、软、弱、虚四种引用详解

奈学教育

Java

一条龙!CI / CD 、打造小团队前端工程化服务

久违

Vue 大前端 jenkins React

程序员如何获取一份高薪工作?阿里P8大牛给你一些中肯的建议

Java迁哥

Java 华为 程序员 面试 资料

为什么阿里巴巴的程序员成长速度这么快,看完他们的内部资料我明白了

Java迁哥

Java 阿里巴巴 程序员 成长 笔记

鲲鹏迁移第一批吃螃蟹的人,践行技术国际化

华为云开发者联盟

鲲鹏920 服务器 华为云 ARM芯片 X86

LeetCode题解:84. 柱状图中最大的矩形,双循环暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

架构设计复杂度来源

escray

学习 从零开始学架构 架构师预科班

JDK8 Unsafe.java 源码

Darren

源码 并发 CAS 代码注释 unsafe

Java创建对象的方法有哪些?

奈学教育

Java

Docker 网络模式详解及容器间网络通信

哈喽沃德先生

Docker 容器 微服务

【运维探讨】RPA落地实践,提升IT运维工作效能!

嘉为蓝鲸

RPA 运维自动化 标准化 系统运维 流程

【API进阶之路】破圈,用一个API代替10人内容团队

华为云开发者联盟

内容 编辑 API 华为云 文本摘要

ArCall远比你想象的要强大的多

anyRTC开发者

WebRTC 在线教育 直播 RTC 安卓

35K成功上岸华为商城事业部,只因学透了这几个开源的商城项目

Java迁哥

Java 华为 源码 资料 商城项目

java安全编码指南之:Mutability可变性

程序那些事

Java java安全编码 编码指南 可变性

分析HiveQL 生成的MapReduce执行程序

任小龙

高效程序员的45个习惯:敏捷开发修炼之道(7)

石云升

敏捷开发 晨会

花两个半月吃透这份Java手打面经,成功从外包上岸到京东

Java迁哥

Java 学习 腾讯 面试 资料

Java中强、软、弱、虚四种引用详解

古月木易

Java

vivo商城前端架构升级-总览篇

vivo互联网技术

node.js Vue 大前端 架构设计

面经手册 · 第9篇《队列是什么?什么是双端队列、延迟对列、阻塞队列,全是知识盲区!》

小傅哥

数据结构 小傅哥 队列 ArrayDeque

实战案例丨使用云连接CC和数据复制服务DRS实现跨区域RDS迁移和数据同步

华为云开发者联盟

迁移 灾备 数据复制 云连接 数据同步

区块链交易所开发源码,数字货币交易所app开发

13530558032

拥抱K8S系列-01-CentOS7安装docker

张无忌

Docker centos 运维

2019年我最喜欢的三款数码产品。

徐说科技

手机 苹果

Java创建对象的方法有哪些?

古月木易

Java

任务分发系统-Qcmd-http详解_文化 & 方法_袁方叔叔_InfoQ精选文章