写点什么

使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理

  • 2020-02-27
  • 本文字数:5194 字

    阅读完需:约 17 分钟

使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理

概述

AWS 容器服务团队在 2019 年 11 月推出了一款新工具 FireLens,该工具可以让您更轻松的处理容器日志。FireLens 可以与 FluentBit 或 Fluentd 搭配使用,这意味着您可以将日志发送到这些开源项目所支持的任意目标位置,并且您可以继续使用您的团队在这些开源项目上积累的丰富经验。


利用 FireLens,您可以将容器日志发送到所需的存储和分析工具,而无需修改应用部署脚本、手动安装额外软件或编写其他代码。一个常见的客户场景是,运行在容器中的应用会将访问日志和错误日志分别写入到不同的日志文件中,然后将不同日志文件的数据分别发送到不同的目标位置进行后续的分析和存储。在这篇文章中,我将演示如何通过配置 AWS Fargate for ECS 和 AWS FireLens,实现上述场景的日志处理。


整个环境的架构示意图如下,后续的演示均在中国宁夏区域进行。



我们使用 FireLens for Fluent Bit 作为 Sidecar 与应用容器运行在一个 Amazon ECS 任务中,应用容器将访问日志写入 /data/logs/access.log,错误日志写入 /data/logs/error.log,FireLens 分别收集这两个日志文件数据,并发送到不同的目标位置。为了方便演示,这篇文章使用两个 Amazon Kinesis Data Firehose 传输组,并发送到不同的 Amazon S3 存储桶。FireLens for Fluent Bit 支持将日志发送到:


  • Amazon CloudWatch Logs

  • Amazon Kinesis Data Firehose

  • Amazon Kinesis Data Streams

  • Fluent Bit 原生支持的所有目标

配置包括如下几个步骤:

  1. 创建 Fluent Bit 自定义配置文件

  2. 构建应用容器镜像和自定义的 Fluent Bit 容器镜像

  3. 创建 Amazon ECS 任务定义

  4. 创建 Amazon Kinesis Data Firehose 传输流和 S3 存储桶

  5. 运行 Amazon ECS 任务,查看日志发送结果

  6. 创建 Fluent Bit 自定义配置文件



FireLens 可以为您创建自动生成的配置文件,您也可以指定自定义配置文件。为了收集两个不同的日志文件并分别输出到指定位置,我们创建如下的自定义配置文件。


extra.conf


Json


[SERVICE]    Parsers_File /fluent-bit/parsers/parsers.conf    Flush 1    Grace 30
[INPUT] Name tail Path /data/logs/access.log Tag access
[INPUT] Name tail Path /data/logs/error.log Tag error
[FILTER] Name parser Match * Key_Name log Parser json Reserve_Data True
[OUTPUT] Name firehose Match access region cn-northwest-1 delivery_stream fluentbit-access
[OUTPUT] Name firehose Match error region cn-northwest-1 delivery_stream fluentbit-error
复制代码


 
复制代码


  1. 构建应用容器镜像和自定义的 Fluent Bit 容器镜



如果要使用 Fluent Bit 自定义配置文件,可以通过配置任务定义来实现,语法如下


Json


{   "containerDefinitions":[      {         "essential":true,         "image":"906394416424.dkr.ecr.us-west-2.amazonaws.com/aws-for-fluent-bit:latest",         "name":"log_router",         "firelensConfiguration":{            "type":"fluentbit",            "options":{               "config-file-type":"s3 | file",               "config-file-value":"arn:aws:s3:::mybucket/fluent.conf | filepath"            }         }      } ]}
复制代码


对于使用 EC2 启动类型的 Amazon ECS 任务来说,可以使用 AWS 提供的 Fluent Bit 容器镜像,将自定义配置放在 S3 上(上述 options 中配置为 “config-file-type”:”s3″, “config-file-value”:”arn:aws:s3:::mybucket/fluent.conf” 并修改为您实际的 S3 bucket ARN 和 Fluent Bit 自定义配置文件名),这种方式的好处是修改 Fluent Bit 配置时不需要重新构建容器镜像和修改任务定义。


对于使用 Fargate 启动类型的任务,目前仅支持 config-file-type 值为 file。因此我们需要构建自己的 Fluent Bit 容器镜像,并将 Fluent Bit 自定义配置文件打包到容器中(上述 options 中配置为 “config-file-type”:”file”, “config-file-value”:” /extra.conf”)。可以基于 AWS 提供的 AWS for Fluent Bit 镜像加入自定义配置即可。镜像 Dockerfile 如下:


Dockerfile:




复制代码


Json


FROM amazon/aws-for-fluent-bit:latestADD extra.conf /extra.conf
复制代码




复制代码




复制代码


在应用容器中,我们运行一个简单的 shell 脚本,不断的向 /data/logs/access.log 和 /data/logs/error.log 两个日志文件中写入 JSON 格式的日志。应用容器 Dockerfile 如下:


Dockerfile:


Json


FROM alpineRUN mkdir -p /data/logs/COPY testlog.sh /bin/ENTRYPOINT ["/bin/testlog.sh"]
复制代码


其中,testlog.sh 脚本内容为:


testlog.sh:


Json


#!/bin/sh
while :do echo "{\"server_date\":\"2020-01-19\",\"hostname\":\"ip-172-31-43-24.cn-northwest-1.compute.internal\",\"pid\":5404,\"method\":\"POST\",\"clientIP\":\"10.11.12.13\",\"countryCode\":\"ID\",\"url\":\"/v1/mail/list\",\"status\":\"200\",\"latency\":7,\"length\":24,\"userId\":9536605,\"code\":20001}" >> /data/logs/access.log echo "{\"server_date\":\"2020-01-19\",\"hostname\":\"ip-172-31-43-24.cn-northwest-1.compute.internal\",\"pid\":1000,\"method\":\"GET\",\"clientIP\":\"20.21.22.23\",\"countryCode\":\"ID\",\"url\":\"/v1/mail/list\",\"status\":\"500\",\"latency\":10,\"length\":12,\"userId\":1010001,\"code\":10001}" >> /data/logs/error.logsleep 10done
复制代码


__


构建完两个容器镜像后,上传到自己的 ECR 镜像仓库。


  1. 创建 Amazon ECS 任务定义



创建任务定义时,请注意以下几个配置:


  • 任务 IAM 角色


任务中的 FireLens 容器要将日志路由到 Kinesis Data Firehose,任务需要调用 firehose:PutRecordBatch API 的权限;另外,我们还配置了 FireLens 容器将 Fluent Bit 自身的日志发送到 CloudWatch Logs,以方便排错。因此,请为任务 IAM 角色添加以下权限


Json


{    "Version": "2012-10-17",    "Statement": [{            "Effect": "Allow",            "Action": [                "firehose:PutRecordBatch",                "logs:CreateLogGroup",                "logs:CreateLogStream",                "logs:PutLogEvents"            ],            "Resource": "*"        } ]}
复制代码


  • FireLens log_router 容器的 firelensConfiguration 配置


在 option 中指定自定义配置文件,格式如下


Json


"firelensConfiguration": {        "type": "fluentbit",        "options": {          "config-file-type": "file",          "config-file-value": "/extra.conf"        } }
复制代码


  • 应用容器的 logConfiguration 配置


指定 logConfiguration 的 logDriver 为 awsfirelens,由于我们使用自定义配置文件,因此不需要再配置 option


Json


"logConfiguration": {        "logDriver": "awsfirelens"},
复制代码


  • 为任务创建 Volume,并且挂载到应用容器和 FireLens 容器的 /data 位置,以便应用容器写入的日志能被 FireLens 容器以 tail 的方式读取到


完整的任务定义文件如下


taskdef-firelens.json:


Json


{  "family": "firelens-sample",  "executionRoleArn": "arn:aws-cn:iam::211271614989:role/ecsTaskExecutionRole",  "taskRoleArn": "arn:aws-cn:iam::211271614989:role/ecsTaskExecutionRole",  "containerDefinitions": [    {      "essential": true,      "name": "log_router",      "image": "211271614989.dkr.ecr.cn-northwest-1.amazonaws.com.cn/logdemo:fluent-bit-firehose",      "logConfiguration": {        "logDriver": "awslogs",        "options": {          "awslogs-group": "/ecs/firelens-sample",          "awslogs-region": "cn-northwest-1",          "awslogs-stream-prefix": "ecs"        }      },      "mountPoints": [        {          "readOnly": false,          "containerPath": "/data",          "sourceVolume": "data"        }      ],      "firelensConfiguration": {        "type": "fluentbit",        "options": {          "config-file-type": "file",          "config-file-value": "/extra.conf",          "enable-ecs-log-metadata": "false"        }      },      "user": "0"    },    {      "essential": true,      "name": "myapp",      "image": "211271614989.dkr.ecr.cn-northwest-1.amazonaws.com.cn/logdemo:myapp",      "logConfiguration": {        "logDriver": "awsfirelens"      },      "mountPoints": [        {          "readOnly": false,          "containerPath": "/data",          "sourceVolume": "data"        }      ]    }  ],  "cpu": "512",  "memory": "1024",  "volumes": [    {      "name": "data"    }  ],  "requiresCompatibilities": [    "FARGATE"  ],  "networkMode": "awsvpc"}
复制代码


注册任务定义到 Amazon ECS


Json


$ aws ecs register-task-definition --cli-input-json file://taskdef-firelens.json --region cn-northwest-1
复制代码


  1. 创建 Amazon Kinesis Firehose 传输流和 S3 存储桶



创建 Amazon S3 存储桶 firelens-access-log 和 firelens-error-log,以及两个 Amazon Kinesis Data Firehose 传输流 fluentbit-access 和 fluentbit-error(与 extra.conf 里保持一致),目标分别为 s3://firelens-access-log/ 和 s3://firelens-error-log/。



  1. 运行 Amazon ECS 任务,查看日志发送结果



使用步骤 3 中注册的任务定义运行任务


Json


$ aws ecs run-task --cli-input-json file://run-task.json --region cn-northwest-1
复制代码


其中,run-task.json 中包含了集群名称、任务数量、网络配置等参数,完整的文件如下


run-task.json:


Json


{                "cluster": "LogDemo",                "count": 1,                "networkConfiguration": {                 "awsvpcConfiguration": {          "subnets": ["subnet-05dd64715563df3c5", "subnet-0800bc5a26d1ba5a1"],          "securityGroups": ["sg-04d0ffc5e8bd605b1"],          "assignPublicIp": "ENABLED"                                }                },                "launchType": "FARGATE",                "taskDefinition": "firelens-sample:1"}
复制代码


创建任务后,您可以在控制台上看到任务的运行情况,以及 FireLens log_router 输出的日志(在任务定义中,我们配置了将 log_router 的日志输出到 CloudWatch Logs)。




Firehose 会将 access 和 error 日志分别发送到两个 S3 存储桶,通过命令行可以查看到两个存储桶里的日志情况 。默认情况下, Firehose 会将前缀“YYYY/MM/DD/HH”(UTC 时间) 附加到其发送到 Amazon S3 的数据中。您也可以通过指定一个自定义前缀覆盖此默认值。



分别下载两个日志文件,可以看到分别为 access.log 和 error.log 中的 JSON 日志数据。




需要说明的另外一点是,在任务定义中指定 FileLens 配置时,您可以选择性地切换 enable-ecs-log-metadata 的值。默认情况下,Amazon ECS 会在日志条目中添加其他字段来帮助标识日志源。如果不设置 enable-ecs-log-metadata 为 false,则日志条目中会包括以下元数据信息。


  • ecs_cluster – 任务所属的集群的名称。

  • ecs_task_arn – 容器所属的任务的完整 ARN。

  • ecs_task_definition – 任务正在使用的任务定义名称和修订。

  • ec2_instance_id – 容器托管于的 Amazon EC2 实例 ID。此字段仅对使用 EC2 启动类型的任务有效。


我们在步骤 3 创建任务定义的时候,将 enable-ecs-log-metadata 设置为了 false 来禁用元数据添加,因此从 S3 上获取的数据仅包括应用容器中的原始日志信息。


Json


"firelensConfiguration": {        "type": "fluentbit",        "options": {          "config-file-type": "file",          "config-file-value": "/extra.conf",          "enable-ecs-log-metadata": "false"        }      },
复制代码

结论

在这篇文章中,介绍了如何通过使用 AWS FireLens 实现对 Fargate 容器日志的轻松处理,将应用容器中不同路径的日志文件分别发送到不同的目标位置,进行后续的分析和存储。您还可以参考 Github 上的 amazon-ecs-firelens-examples,实现更加灵活多样的日志处理。

参考资料


作者介绍:郭勋,AWS 解决方案架构师,负责基于 AWS 的云计算方案的架构设计,同时致力于 AWS 云服务在移动应用与互联网行业的应用和推广,有十年的云计算和云管理平台解决方案架构经验。


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/easy-aws-fargate-container-log-processing-with-aws-firelens/


2020-02-27 16:22818

评论

发布
暂无评论
发现更多内容

Kmesh进入CNCF云原生全景图,实现网格治理sidecarless化

华为云开发者联盟

云原生 华为云 华为云开发者联盟 企业号2024年5月PK榜

低代码与无代码的区别

天津汇柏科技有限公司

低代码 无代码

Qualcomm IPQ4028 and IPQ5018 chips: Innovation drives the future of wireless networks

wifi6-yiyi

ipq5018 IPQ4028

哈银消费金融七周年:创新金融服务,助力消费金融行业高质量发展

Geek_2d6073

三能一体运营体系助力政企支撑水平提升

鲸品堂

运营商 政企 企业号 5 月 PK 榜

高并发系统-使用自定义日志埋点快速排查问题

京东科技开发者

企业数字化不装逼系列(一)- 你绝对不知道的企业数字化概念

加贝羊羽

数字化生态 数字化 数字化时代 企业数字化 数字化经济

企业数字化不装逼系列(三)- 你绝对想不到的如何数字化转型

加贝羊羽

数字化生态 数字化 数字化时代 企业数字化 数字化经济

跨端自渲染绘制的实践与探索

京东科技开发者

最后三天,还没上车的抓紧时间!

霍格沃兹测试开发学社

AI日报|李飞飞解读创业方向「空间智能」,OpenAI将使用Reddit实时数据训练AI...

可信AI进展

福昕软件荣获2023中国电子学会科技进步二等奖

新消费日报

企业数字化不装逼系列(二)- 你绝对想不到的为什么要数字化转型

加贝羊羽

数字化 企业数字化转型 数字化时代 企业数字化 数字化经济

用 MVP(最小可行性产品) 做低成本快速验证,为什么不灵了?| Liga译文

LigaAI

创业 敏捷开发 MVP 最小可行产品 企业号 2024年5月 PK 榜

KubeAI大模型推理加速实践|得物技术

得物技术

算法 kube 大模型 ChatGPT 企业号 2024年5月 PK 榜

使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理_容器_AWS_InfoQ精选文章