QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

基于 Elastic Stack 的日志分析系统

  • 2019-11-07
  • 本文字数:1822 字

    阅读完需:约 6 分钟

基于Elastic Stack的日志分析系统

Elastic Stack 简介

Elastic Stack 是 Elastic 公司旗下的一系列软件总称,包括 Elasticsearch、Logstash、Kibana 和 Beats。Elasticsearch 是一个分布式搜索引擎,负责数据的存储、查询,支持高并发的写入与查询;Logstash 是动态数据收集管道,可以进行数据的清洗、格式化等处理;Kibana 是基于 Elasticsearch 的数据可视化平台,提供种类丰富的图表来呈现数据;Beats 通常部署在生产环境下,扫描日志文件并向 Elasticsearch 或 Logstash 发送数据,在本文中我们使用 FileBeat。


Elastic Stack 的应用非常广泛,常见的有日志管理与分析、指标分析、性能监测、应用搜索等。本篇文章中我们借助腾讯云的 Elasticsearch、使用 Elastic Stack 搭建自动化流转过程的监控与统计系统。

准备工作

  • 日志消息协议


前边提到,Logstash 是可以进行数据处理的,所以对于日志文件的格式并没有要求,只需要后期在 Logstash 处借助 grok 进行格式化即可。方便起见,在本次使用中我们统一了日志消息协议,并统一使用 json 格式单独存储,因此省去了 Logstash 处的格式化操作。



图 1. 自动化流转日志消息协议


图 1 为我们定义的日志协议,其中 log_type 字段用于在 Elasticsearch 中建立索引(相当于我们熟悉的数据表),phase、finish_time 是我们后期监控与统计主要的划分维度,miles 是我们监控的指标。其他的一些字段是我们业务中会使用到的信息,主要用于后期统计使用。


  • 日志获取方式


在我们的使用中,日志的产生源有两大类:已完成开发的和正在进行开发的。对于前者,为了避免重新开发带来的工作量,我们采取定时扫库的方式“自给自足”的产生日志消息;对于后者,我们要求开发根据上述日志消息协议生产日志。两种日志都需要通过部署在环境内的 FileBeat 发送至 Logstash,再由 Logstash 发送至 Elasticsearch 中。

数据接入

  • 日志的准备


以 Python 为例,将日志消息 msg 使用 fp.write(json.dumps(msg))输出到文件中


  • Beats-Logstash-Elasticsearch 接入

  • Logstash 配置(conf)


input {  beats {      port => 8888      codec => "json"  }}
output { elasticsearch { hosts => ["<elasticsearch_ip>:<elasticsearch_port>"] index => "%{log_type}" } stdout { codec => rubydebug }}
复制代码


上述配置中,Logstash 监听本地 8888 端口、并使用 json 解码器对消息进行解析。对于解析后的消息,根据消息中的 log_type 字段发送至 Elasticsearch 对应的索引中,同时在命令行中输出。


  • Logstash 启动


./bin/logstash -c logstash.conf(可以使用 nohup)


  • FileBeat 配置(yml)


filebeat.inputs:- type: logenabled: truepaths:- /usr/local/app/wsd_cron_agent/script/logs/*.logoutput.logstash:hosts: ["<logstash_ip>:<logstash_port>"]
复制代码


上述配置中,FileBeat 定时扫描/usr/local/app/wsd_cron_agent/script/logs/路径下的 log 文件,发送至远端的 Logstash 处。


  • FileBeat 启动


./filebeat -e -c filebeat.yml(可以使用 nohup)


接下来 FileBeat 和 Logstash 就会自动将路径下的日志文件传输至 Elasticsearch 了。

Kibana 可视化

对于第一次接入的数据,首先要做的是创建索引,操作方法是[Management]->[Index Patterns]->[Create Index Pattern]->Index pattern 中输入索引名->单击[Create]



图 2. Kibana 建立索引


之后是使用 Kibana 自带的 visualize 进行数据的可视化,这里就是根据自身需求进行设置即可。可以在 Dashboard 中制作一个自定义的监控窗口,可以清楚直接的看到各个自动化流程的运转情况。



图 3. 地图中业流转 Dashboard

一些需要注意的问题 & 可以改进的地方

总的来说,Elastic Stack 搭建日志分析系统是非常简单、方便的,不过需要注意以下几点:


  • Elasticsearch 是一种非关系型数据库,不能做连表查询操作,因此必须将所有信息都放在一条消息/一例数据中

  • 请避免重复日志消息的产生

  • 目前得到的消息是腾讯云在和 Elastic 官方谈合作,之后会有一些插件(如报警功能)加入,使得监控和分析功能更加强大


由于之前没有接触过 Elastic Stack,所以也是磕磕碰碰的做了一些尝试,一些地方为了避免出错做了简化,之后可以再进一步优化以提升性能:


  • 需要单独产生日志消息,对于开发不够方便;可以考虑在 Logstash 出增加 grok 操作对日志进行格式化后再送入 Elasticsearch

  • FileBeat 和 Logstash 的负载均衡存在进一步提升的可能


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接:


https://mp.weixin.qq.com/s/G473oMCOldT6wFtjqM6A3w


2019-11-07 18:141420

评论

发布
暂无评论
发现更多内容

Python基础知识入门(一)

漫步桔田

龙蜥开发者说:为爱发电!当一个龙蜥社区打包 Contributor 是怎样的体验?| 第16期

OpenAnolis小助手

Linux 开源 rpm 龙蜥社区 贡献

一文详解 Netty 组件

京东科技开发者

Java 架构 Netty nio 企业号 2 月 PK 榜

中移链结合CA证书实现节点准入控制

BSN研习社

“四维一体”,银行数据使用安全新姿势|盾见

极盾科技

数据安全

DevEco Studio 3.1 Beta1版本发布——新增六大关键特性,开发更高效

HarmonyOS开发者

HarmonyOS

云数据库TiDB免费试用初体验

TiDB 社区干货传送门

社区活动 6.x 实践

云数据库TiDB-试用

TiDB 社区干货传送门

管理与运维 版本测评 安装 & 部署

Pycharm+PyQt5+Python3.5开发环境配置(详细教程)

Python pycharm 环境安装 PyQt PyQt5

集度汽车 Flink on native k8s 的应用与实践

Apache Flink

大数据 flink 实时计算

最佳实践|用腾讯云智能文字识别实现网约车信息管理

牵着蜗牛去散步

人工智能 腾讯云 腾讯 最佳实践 文字识别

春季3月 · CSM认证周末班【提前报名特惠】“全球金牌课程”CST导师亲授

ShineScrum

ScrumMaster CSM

爆肝!《Java权威面试指南(阿里版)》,冲击“金三银四”有望了

程序知音

Java java面试 java架构 后端技术 Java面试八股文

即时通讯技即时通讯技术文集(第8期):移动端弱网优化系列 [共14篇]

JackJiang

前端监控之性能与异常

京东科技开发者

监控 服务端 页面 企业号 2 月 PK 榜 js代码

EasyNLP集成K-Global Pointer算法,支持中文信息抽取

阿里云大数据AI技术

人工智能 深度学习 信息抽取 算法模型 企业号 2 月 PK 榜

春季3月 · CSPO认证周末班【提前报名特惠】“价值交付课程” | 全国招生

ShineScrum

产品经理 PO Product Owner 产品负责人 产品愿景

颜色的认识与使用(大屏颜色/仪表板报告设计)

Data 探险实验室

大屏配色 颜色 可视化颜色 配色搭配

Flink CDC+Kafka 加速业务实时化

Apache Flink

大数据 flink 实时计算

打造江西数智产业高地,百度飞桨人工智能产业赋能中心落户南昌青山湖

飞桨PaddlePaddle

飞桨 PaddlePaddle

互联网企业如何进行数字化转型?业务需求迭代频繁的应对之策!

优秀

数字化转型 互联网行业

云数据库 TiDB 入门级别的体验

TiDB 社区干货传送门

6.x 实践

BSN-DDC基础网络详解(三):注册门户账号和业务开通(2)

BSN研习社

BSN-DDC

2023年关于身份安全的4 个预测

HummerCloud

Serverless Kubernetes的思考与征程

阿里技术

Kubernetes Serverless

ChatGPT“狂飙”出圈,快来分享你眼中的ChatGPT吧!

InfoQ写作社区官方

热门活动 ChatGPT

英方软件加入龙蜥社区,联手夯实数字基础设施坚实底座

OpenAnolis小助手

开源 数据复制 英方软件 龙蜥社区 CLA

测试角色在项目各阶段的项目管理tips

京东科技开发者

项目管理 测试 测试 单元测试 企业号 2 月 PK 榜

手把手教你为基于Netty的IM生成自签名SSL/TLS证书

JackJiang

基于Elastic Stack的日志分析系统_文化 & 方法_王政飞_InfoQ精选文章