HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

StackStorm 框架的浅析 (一)

  • 2019-11-15
  • 本文字数:2232 字

    阅读完需:约 7 分钟

StackStorm框架的浅析(一)

故障自愈作为运维领域的热门话题之一,各个公司都会投入大量的人力来开发不同的组件,如何正确、有序的调用不同组件以及避免相同功能组件的开发,是一件亟待解决的问题。StackStrom 是一个基于事件流并自动执行的系统框架,基于此,可以让外部系统产生的事件,有序的、可编排的集合到一起,作为一个完整的事件流去执行,从而解决一些高频次的运维难题。

1 StackStorm 简介

StackStorm 是一个将服务和工具集成在一起的自动化平台,它将现有的基础架构和应用程序环境联系在一起,因此使用者可以更轻松的自动化调用,把注意力集中在需要执行的操作上。



stackstorm 中包含 sensor,rule,action,workflow 等组件,环境内的数据都统一的存在 MongoDB 中,组件之间消息的通信是利用 RabbitMQ 实现的。将各个组件组合在一起并加之依赖文件以及配置文件就形成了一个包,st2 包的结构如下所示:



由包的结构可以看出,每个组件各自形成一个独立的目录,每个组件由一个配置文件以及一个执行文件共同构成。各个组件的具体作用如下:


  • Sensors: 监听和接收外部系统的事件,当某个外部事件出现,trigger 被触发执行,现在只支持 py 文件;

  • Trigger: 是外部事件的具体表现,简单理解为就是事件触发器,衔接 sensor 和 rule,由用户自行定义;

  • Rule: 映射着所有 trigger 到 action 的规则,记录着 criteria 匹配的规则,映射 trigger 实例到 action 的 input;

  • Action: 是 st2 的具体执行动作和步骤,可以使用 py 脚本、执行指定命令;

  • Workflow: 多个 action 的集合,这些 action 被有序的、按照预先定义好的规则先后执行,现在支持 Orquesta 和 Mistral 两种格式;


各个组件之间实际的交互作用如下图所示:


2 st2 中的 packs

packs 是 stackstorm 中最小的部署单元,Pack 中包含 Action,Workflow,Rule 和 Sensor 等等的配置文件,StackStorm 通过 Pack 进行部署和归类。

packs 的查询

通过命令 st2 pack list 可以查询已经安装在环境中的 packs,效果如下:


packs 的安装

在 StackStorm Exchange 中存在很多可用的包,它是 stackstorm 的一个社区,你可以从上面下载你需要的包,当然你也可以自行编写自己的包上传到社区中。stackstorm 的 packs 安装后会将 packs 的文件下载到/opt/stackstorm/packs/<your_pack>目录下。st2 的 packs 的安装方式有很多种。


# 安装某个包的具体的commitst2 pack install cloudflare=776b9a4# 安装某个包的某个具体版本st2 pack install cloudflare=0.1.0# 利用url安装某个包st2 pack install https://github.com/emedvedev/chatops_tutorial=testing
复制代码


下面重点说一下安装自己编写的包,也就是如何安装本地包。


首先自己编写的包必须传到 git 上才能成功安装 其次利用命令 st2 pack install file:/// + 文件目录可以安装本地包,安装效果如下:



可以看到 packs 的安装需要 4 个步骤,第一是下载 packs,事实上虽然我们称之为从本地安装 packs,其实 st2 还是会从 packs 所在的 git 上将代码拉下来,因此这就是为什么我刚刚说自己编写的包必须传到 git 上才能成功安装的原因了;第二步是预览检查包是否有明显的错误;第三步是安装包的依赖环境,st2 对于每个包都会设定一个运行环境,packs 所需要的依赖可以写在 requirements.txt 中,并安装包的过程中一并安装;第四步是注册包,实际上是将包中的各个组件的信息,包中的配置信息以及参数写入 MongoDB 中。

packs 的卸载

st2 中 packs 的卸载十分容易,通过命令 st2 pack remove + < packname>就可以完成,卸载的效果如下:



可以看出 packs 的卸载主要由两个步骤,第一将 packs 的注册信息删除;第二步删掉 packs 的文件;实际上 packs 的安装和卸载是运行了两个相应的 workflow,具体的将在后续专题中讨论。

packs 的注册

是不是安装上 packs 以后就可以直接运行 packs 了呢??当然不是啦(想得美!)还需要手动注册一下 packs 才能执行。具体的操作如下:


首先将.yaml 文件复制到/opt/stackstorm/configs/目录下,注意在安装 packs 前该文件不能存在于/opt/stackstorm/configs/目录下,否则会导致安装失败。


设置该文件的权限为 775。


执行命令 sudo st2ctl reload --register-configs 就可以运行 packs 了。

packs 的编写

这里面我们主要讲解一下 packs 中配置文件的编写方式,对于各个模块的编写规范,将在后续讨论。


packs 除了各个模块外还有 4 个文件需要编写,分别是:requirements.txt,pack.yaml,packname.yaml 以及 config.schema.yaml


requirements.txt


requirements.txt 是依赖文件,在其中记录的是 packs 需要运行的环境中的依赖包,包括包的版本


pack.yaml


pack.yaml 中定义了 pack 的一些基础信息,包括 packname,版本,描述以及作者信息等,具体效果如下:



packname.yaml


对于 packname.yaml 请注意,该文件的名字并不是”packname.yaml“,而是在 pack.yaml 中定义的包的名字作为”packname“,请大家不要误解。这个文件中主要记录着 packs 的一些默认参数,参数可以是整数,小数,字典,数组以及字符串,具体的形式如下:



config.schema.yaml


config.schema.yaml 是默认参数的具体信息,包括参数名称,类型以及描述等,参数类型包括 string,integer,number,list,object,具体形式如下:



其中 required 字段表示该参数是否是必要参数,非必要参数将不会存入 MongoDB 中,secrect 字段表示该参数是否可见的,若为 true 则用户不可见。


本文转载自公众号 360 云计算(ID:hulktalk)。


原文链接:


https://mp.weixin.qq.com/s/VD026IukUNrL5olEFkCtFg


2019-11-15 10:572292

评论

发布
暂无评论
发现更多内容

系统性能百倍提升典型案例分析:高性能队列Disruptor(1)

Java 程序员 后端

绝了!你一直想要的数据库界的里程碑,Alibaba技术官内部私藏MySQL笔记

Java 程序员 后端

精通springcloud:服务发现,Eureka API,java技术上难以解决的问题

Java 程序员 后端

终于彻底搞清楚了 MySQL spin-lock 之一次CPU问题定位过程总结(1)

Java 程序员 后端

绝杀!3位阿里大牛发布这份800页MySQL性能优化法则笔记

Java 程序员 后端

网络编程六-网络编程相关面试题汇总,nginx运行原理

Java 程序员 后端

网页制作工具之------Dreamweaver界面,springmvc教程下载

Java 程序员 后端

聊聊MyBatis的历史,mysql原理详解

Java 程序员 后端

聊聊RabbitMQ RabbitMQ相关面试题,kafka入门教程步骤

Java 程序员 后端

聊聊多线程(四)线程安全之AtomicInteger类,最全面试考点与面试技巧

Java 程序员 后端

缓存穿透及解决方案(干货篇),java基础入门第二版第二章答案

Java 程序员 后端

网络协议从入门到底层原理(11)网络爬虫,线程池底层实现原理

Java 程序员 后端

网络协议从入门到底层原理(5)传输层,java编程项目实例教程

Java 程序员 后端

聊聊MySQL主从复制的几种复制方式,上岸蚂蚁金服

Java 程序员 后端

系统性能百倍提升典型案例分析:高性能队列Disruptor,linux服务器架构师

Java 程序员 后端

终于彻底搞清楚了 MySQL spin-lock 之一次CPU问题定位过程总结

Java 程序员 后端

终于等到了!十位Java架构师整理的“阿里P7,看完老板哭着让我留下来

Java 程序员 后端

精雕细琢!阿里大师53天悉心打磨出来的MyBatis+设计模式架构指南

Java 程序员 后端

系统性能典型案例分析:高性能队列Disruptor,一文深入理解

Java 程序员 后端

美团二面:聊聊线程池设计与原理,由表及里趣味解析,linux操作系统实用教程课后答案

Java 程序员 后端

老生常谈:MySQL高可用,java泛型原理

Java 程序员 后端

聊聊多线程(一)线程的基础,linux集群架构师

Java 程序员 后端

线上环境大规模RocketMQ集群不停机优雅升级实践,面试字节跳动Java工程师该怎么准备

Java 程序员 后端

老夫面试两个月真实经历:面试了20家大厂之后,发现这样介绍项目经验

Java 程序员 后端

老板,运维和开发又打起来了!,你连基础的JVM运行时内存布局都忘了

Java 程序员 后端

系统性能典型案例分析:高性能队列Disruptor,一文深入理解(1)

Java 程序员 后端

群晖DS218+做maven私服(nexus3),mysql性能调优

Java 程序员 后端

老大让我优化数据库,我上来就分库分表,他过来就是一jio

Java 程序员 后端

网关性能大PK,Spring Cloud Gateway让人大失所望!,java教程pdf百度云下载

Java 程序员 后端

[ CloudWeGo 微服务实践 - 04 ] 尝试操作数据(1)

baiyutang

golang 微服务 10月月更

老面试官问我:LRU 和 Innodb Buffer Pool 有什么关系?

Java 程序员 后端

StackStorm框架的浅析(一)_服务革新_刘毅_InfoQ精选文章