产品战略专家梁宁确认出席AICon北京站,分享AI时代下的商业逻辑与产品需求 了解详情
写点什么

Amazon 发布 Kinesis 服务更新

  • 2016-05-29
  • 本文字数:1414 字

    阅读完需:约 5 分钟

Amazon 最近公布了旗下Amazon Kinesis Service 的更新。在此次更新中,Amazon Kinesis Streams 和Amazon Kinesis Firehose 服务增加了三个新功能,包括支持Elasticsearch Service Integration(Elasticsearch 服务集成)、Shard-Level Metrics(Shard 级度量指标),以及Time-Based Iterators(基于时间的迭代器)。

Amazon Elasticsearch 服务集成

Kinesis Firehose 与 Amazon Elasticsearch 的集成使得开发者能够将数据从 Amazon Kinesis Firehose 交付流(Delivery stream)移动至 Amazon Elasticsearch 服务群集。

随着数据进入 Kinesis Firehose 交付流,将根据配置进行缓冲,随后通过批量插入的方式将其存入 Elasticsearch 服务。这些交付流还可以通过 AWS 管理控制台进行压缩和加密。

这种集成的使用场景包括服务器日志的索引和分析,点击流和社交媒体流量等。AWS 产品战略总经理 Matt Wood表示,这个新功能“非常适合日志分析和应用程序监视”。

一旦将数据发布至Elasticsearch,随后即可使用诸如 Kibana 等工具对其进行分析和可视化。

Shard 级度量指标

一个 Kinesis Stream 可包含一个或多个 Shard。Kinesis Stream 中的 Shard 代表读写能力。每个 Shard 可提供 1MB/ 秒数据输入和 2MB/ 秒数据输出。Shard 将按照使用小时数收费,每秒钟最多可处理 1000 条记录。

新提供的 Shard 级度量指标可供用户了解 Kinesis Stream 中每个 Shard 性能的详细信息。总的来说,目前共有 6 个可用度量指标,每个指标的状态每分钟更新一次。这些度量指标将按照 CloudWatch 每个指标的定价模型进行收费。

Amazon 已经公布了目前 Kinesis Streams 可用的每个度量指标的详细信息:

  • IncomingBytes – 已经成功 PUT 至 Shard 的字节数量。
  • IncomingRecords – 已经成功 PUT 至 Shard 的记录的数量。
  • IteratorAgeMilliseconds – 针对一个 Shard 调用GetRecords所返回的最后一条记录的寿命(以毫秒计)。值为“0”意味着目前正在读取的记录已经完全赶上了流的速度。
  • OutgoingBytes – 从 Shard 获得的字节数量。
  • OutgoingRecords – 从 Shard 获得的记录数量。
  • ReadProvisionedThroughputExceeded - 通过GetRecords获取的超过每秒 5 次读取或每秒 2MB 数据的限制的 Shard 数量。
  • WriteProvisionedThroughputExceeded – 由于超出 Shard 每秒 1000 条记录或每秒 1MB 数据的限制而进行限流后,已经被拒绝的记录数量。

用户可以使用这些信息估算自己的系统性能。例如可以检测上游应用程序发布数据的速度是否过快,超过了下游应用程序(Consuming application)的处理能力进而产生吞吐率瓶颈。

基于时间的迭代器

当应用程序从流中读取数据时,为了以正确的顺序拉取正确的数据,需要追踪数据在流中的位置。在 Kinesis Streams 中可以使用迭代器实现该功能。在本次更新之前可以使用顺序号、最老记录或最新记录作为迭代器。

在 AWS 的此次更新中,用户已经可以指定时间戳决定要从哪里开始处理自己的流。这种功能的一个用例是:当下游应用程序经历计划内停机时,发布方可能依然在向流中发布新数据。默认情况下,Kinesis Stream 最多可存储 24 小时的数据,这样消费应用程序就可以通过提供时间戳,从上次中断的地方继续处理流中发布的数据。

查看英文原文 Amazon Releases Kinesis Service Update


感谢侠天对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-05-29 19:001871
用户头像

发布了 283 篇内容, 共 106.7 次阅读, 收获喜欢 62 次。

关注

评论

发布
暂无评论
发现更多内容

一致性 hash 算法

Geek_zhangjian

【架构师训练营 - week5 -2】总结

早睡早起

第05周 技术选型-01 命题作业

Jaye

架构师0期05周作业

我在终点等你

架构师训练营-作业3

A Matt

架构师训练营-第五周-课程总结

狂奔嘀兔纸

极客大学架构师训练营

第五周作业

数字

第五周感想

数字

技术选型能力反映了架构师的综合水平(第 5 周学习总结)

李德政

极客大学架构师训练营

架构师训练营第五周感悟

张锐

架构师训练营第五周作业

张锐

架构师训练营 -W5-20200708

丁亚宁

极客大学架构师训练营 一致性hash

架构师训练营 - 总结 5

进击的炮灰

本周总结

Geek_zhangjian

【架构师训练营】第 5周作业

花生无翼

极客大学架构师训练营

一致性哈希算法JAVA版简单验证

L001

一致性hash算法的实现

互金从业者X

第五周作业

qqq

极客大学架构师训练营

《架构师训练营》第五周总结

架构师训练营 - 第五周 - 作业

Anrika

极客大学架构师训练营

第五周总结

qqq

架构师训练营-week5

强哥

极客大学架构师训练营

架构师训练营第五周作业

zongbin

极客大学架构师训练营

架构师训练营 -W5-20200708-学习总结

丁亚宁

第五周总结--一致性hash

互金从业者X

一致性哈希算法与实现

俊俊哥

缓存 算法 一致性哈希

Week5

week5作业

架构师训练营-week5-学习总结

晓-Michelle

极客大学架构师训练营

架构师0期05周总结

我在终点等你

「架构师训练营」作业:第 5 周 一致性 hash 算法

Amy

极客大学架构师训练营 作业 一致性hash 一致性Hash算法 第五周

Amazon发布Kinesis服务更新_亚马逊云科技_Kent Weare_InfoQ精选文章