写点什么

Collectd 的 Amazon CloudWatch 插件

  • 2019-11-12
  • 本文字数:3554 字

    阅读完需:约 12 分钟

Collectd的Amazon CloudWatch插件

原文:https://aws.amazon.com/blogs/aws/new-cloudwatch-plugin-for-collectd/


作者:Jeff Barr




我在 2011 年已介绍过 Cloud Watch 的特性,“您可以在 Cloud Watch 中查看图表、设置告警、并根据这些指标启动自动化操作,所使用的这些 AWS 资源指标会被存储于 Cloud Watch 中 。”您目前已有能力在Amazon Cloud Watch中存储一段时间范围内的业务、应用及系统的指标数据(参阅“Amazon Cloud Watch定制新指标”了解更多信息)。


今天我们将简化系统统计信息的采集过程,使用一个新的 CloudWatch plug for colletd将采集数据发送至 CloudWatch 中 。并通过collectd 多种类型信息的统计采集能力与 cloudwatch 存储、展示、警报和告警的功能的整合,您可以更好地获取 EC2 实例、本地硬件以及运行于其上应用程序的运行状态及其性能信息。该插件已经作为一个开源项目发布,我们期待您的反馈。


Collectd 守护进程采用 C 语言编写,具有高性能和可移植性。它支持上百个插件 ,允许您收集有关ApacheNginx Web 服务器性能统计数据、memory usage uptime等信息。

安装与配置

为了演示这些功能,我在 EC2 实例上安装并配置了 Collectd 服务及新 Cloudwatch 插件。


首先我创建了一条 IAM 策略,它具备将指标数据写入 CloudWatch 的权限:



然后我创建了一个 IAM 角色,允许 EC2(运行 collectd 程序的实例)使用上述所建的策略:



如果我计划使用 Collectd 插件从本地服务器或运行中的 EC2 实例收集统计信息,那请跳过这些步骤,采用创建一个具有适当权限的 IAM 用户作为替代方法。在我完成上述工作后,会将该用户的证书放在本地服务器或 EC2 实例中。


在策略和角色配置完毕后,选择该角色来启动一个 EC2 实例



登录并安装 Collectd :


Bash


$ sudo yum -y install collectd
复制代码


然后获取插件和安装脚本,设置脚本为可执行,并运行该脚本:


Bash


$ chmod a+x setup.py
$ sudo ./setup.py
复制代码


回答一些交互问题确认安装过程无误,在完成配置之后就可启动 Collectd :


Bash


Installing dependencies ... OK
Installing python dependencies ... OK
Copying plugin tar file ... OK
Extracting plugin ... OK
Moving to collectd plugins directory ... OK
Copying CloudWatch plugin include file ... OK
Choose AWS region for published metrics:
1. Automatic [us-east-1]
2. Custom
Enter choice [1]: 1
Choose hostname for published metrics:
1. EC2 instance id [i-057d2ed2260c3e251]
2. Custom
Enter choice [1]: 1
Choose authentication method:
1. IAM Role [Collectd_PutMetricData]
2. IAM User
Enter choice [1]: 1
Choose how to install CloudWatch plugin in collectd:
1. Do not modify existing collectd configuration
2. Add plugin to the existing configuration
Enter choice [2]: 2
Plugin configuration written successfully.
Stopping collectd process ... NOT OK
Starting collectd process ... OK
$
复制代码


在 Collectd 运行并且插件安装配置完成后,下一步是确定感兴趣的统计信息,并配置插件将它们发布至 CloudWatch 中(每个指标的采集成本也是一个需考虑因素)。


文件/opt/collectd-plugins/cloudwatch/config/blocked_metrics 包含已收集但尚未发布到 CloudWatch 的指标列表:


Bash


$ cat /opt/collectd-plugins/cloudwatch/config/blocked_metrics
# This file is automatically generated - do not modify this file.
# Use this file to find metrics to be added to the whitelist file instead.
cpu-0-cpu-user
cpu-0-cpu-nice
cpu-0-cpu-system
cpu-0-cpu-idle
cpu-0-cpu-wait
cpu-0-cpu-interrupt
cpu-0-cpu-softirq
cpu-0-cpu-steal
interface-lo-if_octets-
interface-lo-if_packets-
interface-lo-if_errors-
interface-eth0-if_octets-
interface-eth0-if_packets-
interface-eth0-if_errors-
memory--memory-used
load--load-
memory--memory-buffered
memory--memory-cached
复制代码


如您对内存消耗关注,可添加了一行到


/opt/collectd-plugins/cloudwatch/config/whitelist.conf


Bash


memory--memory-.*
复制代码


Collectd 配置文件(/etc/collectd.conf)中包含 Collectd 附加设置及插件设置。不需要做任何修改。


重新启动 Collectd,以便所做的调整生效:


Bash


$ sudo service collectd restart
复制代码


为了模拟内存消耗,可执行了一些消耗内存的程序,然后打开 CloudWatch Console 来查找并显示自定义指标:



该截图包括了对 CloudWatch 控制台即将推出增强功能的预览;如果看起来不一致也不必担心(请关注获取更多信息)。


如果监控一个生产实例,您还可以安装更多 Collectd 插件。以下是 Amazon Linux AMI 可用插件列表:


Bash


$ sudo yum list | grep collectdcollectd.x86_64                        5.4.1-1.11.amzn1               @amzn-main
collectd-amqp.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-apache.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-bind.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-curl.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-curl_xml.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-dbi.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-dns.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-email.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-generic-jmx.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-gmond.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-ipmi.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-iptables.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-ipvs.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-java.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-lvm.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-memcachec.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-mysql.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-netlink.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-nginx.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-notify_email.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-postgresql.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-rrdcached.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-rrdtool.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-snmp.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-varnish.x86_64 5.4.1-1.11.amzn1 amzn-main
collectd-web.x86_64 5.4.1-1.11.amzn1 amzn-main
复制代码

需了解事项

如果您使用的是 5.5 或更新版本的 Collectd ,则会在默认情况下发布四个指标:


  • df-root-percent_bytes-used – disk utilization

  • memory–percent-used – memory utilization

  • swap–percent-used – swap utilization

  • cpu–percent-active – cpu utilization


如果您不希望发布它们,您可以从 whitelist.conf 文件中删除这些指标。


在 Amazon Linux AMI,Ubuntu,RHEL 和 CentOS 的软件仓库中,目前提供了较旧版本的 Collectd; 如果从源代码或自定义 repo 进行构建安装,请注意默认行为的变化。

更多

除了本次所展示的内容外, 您可以安装更多的插件,然后配置 whitelist.conf 来向 CloudWatch 发布更多的指标。同时您可以创建CloudWatch警报 ,自定义仪表盘等。


要开始使用,请访问AWS Lab on GitHub,并下载collectd plugin for CloudWatch


译者介绍



倪晓峻,AWS 专业服务顾问,负责基于 AWS 云计算项目的咨询和设计,具有超过十五年以上企业客户服务经验,致力于 AWS 服务在国内和全球的项目实施。在企业级解决方案,混合云架构,运营集成等领域有着广泛的设计与实践经验。在加入 AWS 之前曾任职 VMware;HPE 专业服务顾问,从事云计算/虚拟化架构设计及运维咨询工作,两次获得省部级科技进步奖励,参与 OGC ITIL V3 中文版的审定工作 。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/new-cloudwatch-plugin-for-collectd/


2019-11-12 08:00750

评论

发布
暂无评论
发现更多内容

直播预告lApache Hudi 中文社区技术交流会第六弹

StarRocks

数据库

为了进大厂!吃透了各大厂最新 3000+Java 面试题啃完面试肯定妥了

钟奕礼

Java 程序员 java面试 java编程

业务畅行海外,如何做到安全第一

火线安全

小令观点 | 需要留存用户的身份证照片?想清楚这三点了再做……

令牌云数字身份

数字身份 身份认证 加密技术 可信

刷了三个月 leetcode 算法,顺利拿下百度、阿里等大厂的 offer

钟奕礼

Java 程序员 java面试 java编程

想要做好代码质量,如何破局?

京东科技开发者

代码质量 系统 代码优化

既快又稳还方便,火山引擎VeDI的这款产品解了分析师的愁

字节跳动数据平台

大数据 数据分析

SCADA系统架构、类型和应用

2D3D前端可视化开发

物联网 组态软件 web组态 组态编辑器 SCADA

深入掌握 Fiori Elements 工作原理的前提条件:理解 Smart Field

汪子熙

前端开发 web开发 Fiori SAP UI5 11月月更

Java 八股文能不背吗?Java 面试都只是背答案吗?

钟奕礼

Java 程序员 java面试 java 编程

云原生加速器企业维格表创始人陈霈霖:提供人人可用的数字化转型全新方案,真正驱动组织创新

阿里巴巴云原生

阿里云 云原生 维格表

隐语 PSI benchmark 白皮书

隐语SecretFlow

密码学 隐私计算 PSI 安全多方计算 隐语

中心化危机下,NFT 去中心化协议能否破局?

NFT Research

区块链 去中心化 NFT

小令观点 | 需要留存用户的身份证照片?想清楚这三点了再做……

令牌云数字身份

身份认证 身份安全 敏感信息加密

AI赋能音乐创作,人人都是音视频创作者

HarmonyOS SDK

HMS Core

ElasticSearch 集群迁移最佳实践

冰心的小屋

elasticsearch

从零开始学习Java系列之你为什么要学Java?

千锋IT教育

小令观点 | 是什么让马斯克也受骗了?

令牌云数字身份

数字身份

阿里云易立:以增效促降本,容器服务全面进入智能化时代

阿里巴巴云原生

阿里云 云原生 容器服务

开源大数据热力报告:StarRocks摘得数据查询与分析方向增速第一

StarRocks

数据库

高级Java面试经验总结:多家大厂简历优化+面试题目+面经+薪酬等

钟奕礼

Java 程序员 java面试 java编程

融云全球社交泛娱乐洞察,互联网社交换挡期的「社区产品」机遇

融云 RongCloud

社交 社区

百度面试被算法血虐,闭关肝完445页算法神仙笔记成功入职字节

钟奕礼

Java 程序员 java面试 java编程

上班干,下班学!这份 Java 面试八股文涵盖 20 多个技术点

钟奕礼

Java 程序员 java面试 java编程

MySQL的存储引擎及常用数据类型详解

C++后台开发

MySQL 数据库 中间件 后端开发 C++开发

异常检测算法分类总结(含常用开源数据集)

云智慧AIOps社区

人工智能 机器学习 深度学习 异常检测 算法模型

「案例分享」研发效能提升之第一性原理

京东科技开发者

redis flink 研发管理 研发效能 软件开发技术的第一性原理

Linux系统保存文件命令的详细介绍

源字节1号

软件开发 前端开发 后端开发 小程序开发

携手!Kyligence 支持 Amazon EMR Serverless,赋能云上企业降本增效

Kyligence

数据分析 OLAP

技术分享| 快对讲视频调度功能说明

anyRTC开发者

监控 快对讲 语音对讲 视频对讲 视频回传

最佳实践|用腾讯云AI文字识别对混贴票据识别

牵着蜗牛去散步

人工智能 腾讯云 腾讯 文字识别 OCR

Collectd的Amazon CloudWatch插件_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章