写点什么

宣布推出 Firelens – 管理容器日志的新方法

  • 2019-11-27
  • 本文字数:1923 字

    阅读完需:约 6 分钟

宣布推出 Firelens – 管理容器日志的新方法

今天,负责在 AWS 上构建我们的容器服务的卓越团队推出了一款出色的新工具 AWS FireLens,该工具可让您更轻松地处理日志。


利用 FireLens,客户可以将容器日志定向到存储和分析工具,而无需修改部署脚本、手动安装额外软件或编写其他代码。通过有关 Amazon ECSAWS Fargate 的一些配置更新,您可以选择目标或选择定义筛选条件,以指示 FireLens 将容器日志发送到需要容器日志的位置。


FireLens 可以与 Fluent BitFluentd 搭配使用,这意味着您可以将日志发送到这些开源项目中的任意一个项目所支持的任何目标位置。我们维护着一个网页,您可以在该网页上查看 AWS 解决方案架构师已审核的 AWS 合作伙伴网络产品列表。您可以使用 FireLens 将日志数据或事件发送给任何这些产品。


我发现了解 FireLens 的最简单方法就是使用它,因此在本博文的其余部分,我将演示如何在 Amazon ECS 中将 FireLens 和容器搭配使用,并将容器日志转发到 Amazon CloudWatch


首先,我需要配置任务定义,我从 GitHub 上的 Amazon ECS FireLens 示例中得到一个示例定义。


我将 AWS Identity and Access Management (IAM) 角色替换为我自己的 taskRoleArnexecutionRoleArn IAM 角色,我还添加了端口映射,以便通过浏览器访问 NGINX 容器。


Json


{  "family": "firelens-example-cloudwatch",  "taskRoleArn": "arn:aws:iam::365489000573:role/ecsInstanceRole",  "executionRoleArn": "arn:aws:iam::365489300073:role/ecsTaskExecutionRole",  "containerDefinitions": [    {      "essential": true,      "image": "906394416424.dkr.ecr.us-east-1.amazonaws.com/aws-for-fluent-bit:latest",      "name": "log_router",      "firelensConfiguration": {        "type": "fluentbit"      },      "logConfiguration": {        "logDriver": "awslogs",        "options": {          "awslogs-group": "firelens-container",          "awslogs-region": "us-west-2",          "awslogs-create-group": "true",          "awslogs-stream-prefix": "firelens"        }      },      "memoryReservation": 50     },     {       "essential": true,       "image": "nginx",       "name": "app",       "portMappings": [        {          "containerPort": 80,          "hostPort": 80        }        ],       "logConfiguration": {         "logDriver":"awsfirelens",         "options": {          "Name": "cloudwatch",          "region": "us-west-2",          "log_group_name": "firelens-fluent-bit",          "auto_create_group": "true",          "log_stream_prefix": "from-fluent-bit"        }      },      "memoryReservation": 100    }  ]}
复制代码


我将任务定义保存到本地文件夹,然后使用 AWS 命令行界面 (CLI) 注册了任务定义。


aws ecs register-task-definition --cli-input-json file://cloudwatch_task_definition.json


我已经设置了 ECS 集群,但如果您未设置,您可以参阅 ECS 文档了解如何设置。以下命令使用我新注册的任务定义在我的 ECS 集群上创建服务。


Bash


aws ecs create-service --cluster demo-cluster --service-name demo-service --task-definition firelens-example-cloudwatch --desired-count 1 --launch-type "EC2"
复制代码


登录 Amazon ECS 控制台并深入研究我的服务和任务后,我发现了显示外部链接的容器定义。我让容器将容器端口 80 映射到任务定义内的主机端口 80 后,系统显示了此 IP 地址。



如果我在浏览器中转到该 IP 地址,则我用作我的应用程序的 NGINX 容器将提供其默认页面。NGINX 容器会将其收到的所有请求记录到 Stdout,因此 FireLens 现在会将这些日志转发到 CloudWatch。我在 URL 上添加了一条短消息,以便在查看日志时能够从所有其他请求中快速识别该请求。



然后,我导航到了 Amazon CloudWatch 控制台,并向下钻取了 firelens-fluent-bit 日志组。您还记得吗?这是我在原始任务定义中设置的日志组名称。下面,您会注意到我的日志流中有多个日志,最后一个日志是我刚刚在浏览器中发送的请求。如果您仔细查看日志,就会发现“IT WORKS”已作为 GET 请求的一部分输入。



这就是整个流程,我成功设置了 FireLens,并利用它将我的容器日志转发到 CloudWatch,我当然可以选择其他目标,例如,第三方提供商(如 Datadog)或 AWS 目标(如 Amazon Kinesis Data Firehose)。


如果您想尝试 FireLens,它现已在支持 Amazon ECSAWS Fargate 的所有区域推出。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/announcing-firelens-a-new-way-to-manage-container-logs/


2019-11-27 08:00663

评论

发布
暂无评论
发现更多内容

淘宝商品搜索API返回值全攻略:关键字搜索的数据价值挖掘

技术冰糖葫芦

API Explorer API 文档 API 性能测试

ChatGPT指南:含有1000+ChatGPT资源

蓉蓉

ChatGPT GPT-4

掌握Postman,开启API测试新纪元!

测试人

软件测试 Postman API

NineData架构师周金义:ClickHouse 数据管理与同步的关键技术

NineData

最佳实践 Clickhouse 数据管理 NineData 迁移同步

区块链分布式应用开发的探索与实践

dappweb

分布式应用 dapp开发

LLM 大模型学习必知必会系列(六):量化技术解析、QLoRA技术、量化库介绍使用(AutoGPTQ、AutoAWQ)

汀丶人工智能

AutoAWQ AutoGPTQ 大模型量化技术

国产数据库替代加速 助力数字中国建设

科技热闻

CheckList对交付质量的重要性

老张

质量管理 软件测试 checklist

iShowU Instant for Mac(强大的实时屏幕录像工具)直装版

Rose

AI日报|苹果将在iOS 18中引入ChatGPT,联想或成AI PC最大受益者

可信AI进展

#人工智能

大型前端应用如何做系统融合?

京东零售技术

JavaScript 前端 企业号 5 月 PK 榜

区块链智能合约

区块链开发团队DappNetWork

LLM 大模型学习必知必会系列(四):LLM训练理论篇以及Transformer结构模型详解

汀丶人工智能

Transformer 大模型训练

TikTok标签使用技巧,从入门到精通全攻略

蓉蓉

TikTok tiktok直播

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践

汀丶人工智能

大模型 大模型推理

掌握postman,开启API测试新纪元!

测吧(北京)科技有限公司

测试

万界星空科技电线电缆行业MES解决方案

万界星空科技

mes 万界星空科技mes 电线电缆行业 电线电缆mes

K8s 小白入门|从电影配乐谈起,聊聊容器编排和 K8s

小猿姐

Kubernetes 云原生 容器化

关于Vearch在大模型中使用的一些实践

京东科技开发者

LED显示屏抵御户外高温的策略

Dylan

科技 LED LED显示屏 户外LED显示屏 led显示屏厂家

Bookie存储架构源码剖析|得物技术

得物技术

MQ 源码剖析 pulsar java 企业号 2024年5月 PK 榜

IntelliJ IDEA 2024 .1.2中文激活版 Java开发 mac编程软件下载

Rose

运营商系统快速上云的实践分享

鲸品堂

架构 系统 运营商 上云 企业号 5 月 PK 榜

研发提效:想快速定制一个OLAP应用?你可以这么做

京东科技开发者

打工人好用的大模型问答,还需要一款可靠的文档解析工具

合合技术团队

LLM 智能问答 文档解析

LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南

汀丶人工智能

大模型微调 LORA微调 LISA微调

程序员/码农35岁都面临转行或失业?

伤感汤姆布利柏

宣布推出 Firelens – 管理容器日志的新方法_文化 & 方法_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章