QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

智能运维基础-运维知识库之 ETL

  • 2019-09-10
  • 本文字数:2228 字

    阅读完需:约 7 分钟

智能运维基础-运维知识库之ETL

在百度智能化运维的持续演进过程中,我们在逐步建设以智能运维机器人为核心的运维能力,将其应用于故障自愈、根因定位、智能变更等运维场景中。而建设以智能运维机器人为核心的运维能力,最基础的工作是要先建立运维的世界观(环境模型),以机器人的视角来理解运维世界、感知系统状态、获取环境变化等。


在传统运维模式中,运维数据分散在不同的系统中,这些运维数据存在几个问题:访问方式不一致;数据术语、概念、模型不一致;系统间没有数据关联。


这些问题使得我们日常的运维工作,经常需要理解、处理各种不同的数据,导致运维成本高,效率难以提升。因此希望建立运维知识库统一运维工作中的语言,对运维工作中的对象进行统一建模,收集并转录日常运维工作的资源与操作,为日常运维工作提供一种『书同文,车同轨,行同伦』的基础。(PS:借鉴自秦始皇)


本文主要介绍百度云 Noah 智能运维产品,在构建运维知识库过程中的思考。

运维知识库中的数据

运维知识库中包含了元数据(Meta)、状态数据(Status)、事件数据(Event):


  • 运维元数据(Meta)对运维实体世界进行建模,包括运维实体的属性、组成以及关联关系等;

  • 状态数据(Status)反应系统的状态,表征服务的存活性、资源消耗或能力等;

  • 事件数据(Event)描述对系统做的变更、服务状态的异常等事件。


ETL 系统架构

运维元数据、状态数据、事件数据分布在几十个不同的系统中,随着业务的增长和相关系统的不断增加暴露出了以下几个问题:


  • 数据分散,访问方式不一致:同一类型的数据分散在多个不同的系统,各系统提供不同的访问入口;

  • 数据术语、概念、模型不一致:各系统使用的术语、概念、模型各不相同,例如“应用”这个概念,每个系统或工具对于 Application 的理解都不尽相同;

  • 系统间数据没有建立关联:例如部署、监控和路由服务等核心场景在运维数据上没有打通,表现为部署平台、路由服务、监控系统所使用的服务管理机制各不相同,三个系统间的数据难以关联,且无联动性。


因此,依托『书同文』的理念建立运维知识库,提供一个统一的运维数据管理系统,来管理运维工作中的公共基础数据,打通系统间的数据关联,使这些数据能够遵循统一的模型被共享和使用。


为了使这些数据能够遵循统一模型,我们制定了各类数据的模型(Schema),采用 ETL 机制从各系统获取(Extract)数据、转换(Transform)成统一的模型、并存储(Load)在知识库中,其架构如图所示。



这些运维数据在建设时根据业务对数据时效性要求的不同,分为以下三种:


  • 离线数据建设,例如用于运维变更效率指标统计等相关的数据;

  • 近线数据建设,例如故障诊断过程中依赖的数据;

  • 实时数据建设,例如智能故障自愈、智能流量调度相关的路由数据等。


对于上述不同的数据我们采用不同的 ETL 方式,分别是:


  • 拉 (Pull ETL),周期性从数据源拉取数据,适用于离线数据的建设;

  • 推 (Push ETL),数据源主动推送变更的数据,适用于时效性较高的近线数据建设;

  • Federation (Lazy ETL),在查询时从数据源获取数据、按照 Schema 转换后并返回,适用于实时数据建设。

1Pull ETL

Pull ETL 提供了两种数据接入方式:自适应 ETL、基于 SDK 的自定义 ETL。


自适应 ETL,是我们针对适用范围较广的数据源(如百度名字服务 BNS、Noah 监控平台、Noah 部署平台等)开发的,用户仅需配置好 ETL 规则,自适应调度器会自动解析规则,并将数据按规则接入运维知识库。


基于 SDK 的自定义 ETL,是我们为其他数据源提供的 ETL 方式,用户基于我们提供的 SDK 可以开发各种数据源的 ETL 脚本,配置好调度策略,通用调度器根据调度策略执行 ETL 脚本,即可将数据接入运维知识库。


2Push ETL

Push ETL 采用消息队列(MQ),来支持时效性高的数据建设。数据源发生变更时,需要将变更消息推送至 MQ,运维知识库订阅、消费这些消息,并转换、存储数据。


如下图所示,用户基于 SDK 开发 Push ETL 脚本,调度器执行脚本并保证其一直处于执行状态。数据源推送变更消息至 MQ,Push ETL 脚本订阅 MQ 中的变更消息,将变更的数据转换成统一的模型并存储在知识库中。


3Lazy ETL

Lazy ETL 是为实时数据查询而提供的 ETL 模式。在运维领域我们需要看到系统的某些元数据/状态的实时变化,比如实时路由数据、监控系统的时序数据等。Pull ETL 由于是周期性的执行,因此在时效性上无法满足需求;Push ETL 需要数据源进行改造,有一定的成本,且变更消息传输存在一定的延迟,无法实时查询到最新数据。


因此,如下图所示,我们采用另一种经典方法 Federation(Lazy ETL)来实现数据集成:即运维知识库处理用户查询时,直接调用接口去访问原始数据源,按 schema 转换后,返回给用户。


总结

本文主要介绍了百度云 Noah 智能运维产品中的运维知识库之 ETL。针对不同业务场景使用的数据,提供不同的 ETL 方式。针对离线数据建设,采用 Pull ETL 周期性从数据源获取数据,此外综合考虑数据接入收益和成本,提供了自适应 ETL 以及基于 SDK 的自定义 ETL;针对时效性高的数据建设,采用 Push ETL,数据源主动推送变更到运维知识库中;针对实时数据建设,采用 Lazy ETL,在查询时回源获取数据并进行转换。有对运维知识库和 ETL 感兴趣的同学,欢迎留言探讨。


作者介绍:


H++,百度云高级研发工程师,负责百度云 Noah 智能运维产品元数据建设、时序数据存储相关研发工作,在分布式系统架构、高性能数据服务、数据清洗等方向有着较为广泛的实践经验。


本文转载自公众号 AIOps 智能运维(ID:AI_Ops)。


原文链接:


https://mp.weixin.qq.com/s/Py0lOZEHr2rdGwXbg2hnqw


2019-09-10 17:232823

评论

发布
暂无评论
发现更多内容

小灯塔系列|中小企业数字化转型系列研究——IM测评报告

向量智库

Spring Cloud实战案例 │ Apollo和Zuul的整合开发

TiAmo

Spring Cloud Apollo Zuul

【华秋推荐】物联网入门学习模块 ESP8266

华秋电子

物联网

小灯塔系列|中小企业数字化转型系列研究——云存储测评报告

向量智库

天翼云加入云原生安全实验室,推进行业标准制定和生态建设!

天翼云开发者社区

云计算 云原生

带你认识数仓的监控系统TopSQL

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

人人都在聊的IPD(集成产品开发)到底是什么?一文让你读懂TA!

禅道项目管理

华为 项目管理 软件 硬件

不要仅限于只做测试工作

老张

软件测试 职场成长

提升制造业智能化水平——免费MES系统的领航者

万界星空科技

开源 制造业生产管理系统

下一代MES系统架构分析与选型参考

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

JDK1.6在生产环境引起的坑

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 8 月 PK 榜

SpringCloud-Hystrix服务熔断与降级工作原理&源码 | 京东物流技术团队

京东科技开发者

SpringCloud Hystrix 熔断降级 企业号 8 月 PK 榜

如何在数据库迁移中保证数据一致性?

java易二三

MySQL 数据库 编程 计算机

关于搭建海外社交APP源码的干货

山东布谷网络科技

海外直播源码

基于Web3D+GIS智慧森林防火监测预警系统

2D3D前端可视化开发

智慧森林防火 森林火灾预警系统 森林火灾监测系统 森林数字防火 森林智能防火

物理机是什么?有什么优势?可以上堡垒机吗?

行云管家

等保 堡垒机 等级保护 物理机

入门级教程:使用Flask进行Python Web开发

Apifox

flask 后端 web开发 Python编程 Python Web框架

为什么马斯克和奥特曼都想重振加密货币?

树上有只程序猿

人工智能 AGI

风很大的“云数仓”到底怎么用?三家企业交出答卷

字节跳动数据平台

数据库 云原生 企业号 8 月 PK 榜

绍兴市属于哪个省?是几线城市?有正规等保测评机构吗?

行云管家

等保 等级保护 等保测评 绍兴

MoE 系列(七)| Envoy Go 扩展之沙箱安全

SOFAStack

golang 后端 框架 envoy 安全沙箱

如何判断线程池任务执行完?

王磊

java面试

高效构建 vivo 企业级网络流量分析系统

vivo互联网技术

流量采集 流量监控 sFlow

小灯塔系列-中小企业数字化转型系列研究-ERP测评报告

向量智库

HPC中常见的调度器介绍

天翼云开发者社区

云计算 HPC 高性能计算

zos静态网站托管的使用和原理

天翼云开发者社区

静态网站托管 静态网站

但因热爱,愿迎万难,OpenTiny Vue Playground正式上线🎉

OpenTiny社区

开源 Vue 前端

MoE 系列(六)|Envoy Go 扩展之并发安全

SOFAStack

golang 安全 后端 框架 envoy

数据库内核之Binder

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne 超融合数据库

智能运维基础-运维知识库之ETL_软件工程_H++_InfoQ精选文章