快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

  • 2019-06-17
  • 本文字数:964 字

    阅读完需:约 3 分钟

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed Streaming for Kafka(MSK)在 AWS re: 2018 大会上推出公开预览版,现在,该服务正式发布。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。


新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加AWS CloudFormation支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。


亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie所说


我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。


在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。


一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的主题供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。


最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9%的可用性。


Apache Kafka最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是,Confluent最近推出了一项名为Confluent Cloud的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。


如果你想开始使用 Amazon MKS,最好从Amazon分步指南开始。


查看英文原文Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


2019-06-17 08:0019258
用户头像

发布了 722 篇内容, 共 458.8 次阅读, 收获喜欢 1537 次。

关注

评论

发布
暂无评论
发现更多内容

Starfish OS:以现实为纽带,打造元宇宙新范式

BlockChain先知

Okaleido tiger NFT即将登录Binance NFT平台,后市持续看好

小哈区块

let关键字的特点

bo

前端 ES6 7月月更

【刷题记录】16. 最接近的三数之和

WangNing

7月月更

如何设计业务异地多活架构 - 作业

阿拉阿拉幽幽

Web3流量聚合平台Starfish OS,给玩家元宇宙新范式体验

鳄鱼视界

【愚公系列】2022年7月 Go教学课程 014-运算符之算术运算符

愚公搬代码

7月月更

python小知识-如何判断一个对象为空值

AIWeker

Python python小知识 7月月更

更智能!AIRIOT加速煤炭行业节能减排升级

AIRIOT

低代码 物联网 低代码,项目开发

Okaleido tiger NFT即将登录Binance NFT平台,后市持续看好

西柚子

数据仓库和数据中台的关系

奔向架构师

数据仓库 7月月更

网络水军为何如此猖獗:揭秘背后灰色利益链

石头IT视角

Java多线程之常见锁策略与CAS中的ABA问题

未见花闻

7月月更

王者荣耀商城异地多活架构

intelamd

架构实战营模块 7 作业

Naoki

架构实战营

JavaScript小数点计算时失精问题

空城机

JavaScript 7月月更

从去IOE到CIPU,中国云计算要走出自己的路径

B Impact

数据散列算法

技术小生

7月月更 散列算法

Docker安装Mycat中间件 | 实现主从&读写分离

宁在春

Docker 读写分离 mycat 7月月更

Spark Sql编译模块-词法、语法分析器Antlr4(一

飞哥

vue.js 多种方式安装

恒山其若陋兮

7月月更

一文解析Ansible配置管理文件

穿过生命散发芬芳

ansible 7月月更

Envoy负载均衡与限流设计

阿泽🧸

7月月更 Envoy负载均衡

如何搭建一个知识库网页?

Baklib

架构训练营模块七作业

融冰

8 月亚马逊云科技培训与认证课程,精彩不容错过!

亚马逊云科技 (Amazon Web Services)

架构师 培训 认证

第十届蓝桥杯大赛软件类省赛C/C++ 大学 A 组题解

KEY.L

7月月更

鸿蒙eTS版天气预报

坚果

开源 HarmonyOS OpenHarmony Open Harmony 7月月更

王者荣耀商城异地多活架构设计(架构实战营 模块七作业)

Gor

let's go——2022年读书活动招募书(第1期)

codists

zookeeper-集群leader选举

zarmnosaj

7月月更

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用_服务革新_Sergio De Simone_InfoQ精选文章