Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,由 Scala 和 Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像 Hadoop 一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka 的目的是通过 Hadoop 的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
软件名称 Apache Kafka 开发商 Apache 软件基金会软件平台跨平台软件版本 2.5.0
一线实践案例
更多内容推荐
类似“点击流”这样的海量数据应该如何存储?
对于海量原始数据的存储系统,我们要求的是超高的写入和读取性能,和近乎无限的容量,对于数据的查询能力要求不高。
2020 年 4 月 14 日
开篇词 | 为什么要学习 Kafka?
这一次,彻底搞定Kafka!
2019 年 6 月 3 日
面试官最爱问的 Kafka,基础 + 进阶 + 高级,44 问疯狂轰炸!
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
2021 年 6 月 4 日
在生产环境使用 Kafka 构建和部署大规模机器学习
资深顾问Kai Waehner在Confluent上介绍了如何使用Kafka在生产环境构建大规模机器学习。
什么是 ZooKeeper?
2019 年 8 月 19 日
LinkedIn 的 Kafka 生态
Apache Kafka 是一个高度可扩展的消息系统,在LinkedIn 的中心数据管道中扮演着关键角色。LinkedIn 早在2010年就开发了Kafka,现在每天在1400个节点上处理超过1.4万亿条消息。随着Kafka 的使用率持续的快速增长,我们必须尽可能的解决一些重大问题,所以我们围绕Kafka 开发了一个完整的生态系统。本文中,我会总结我们的一些解决方案,能够对正在使用Kafka 的人有一些帮助,并强调几个活动预告,能让你学到更多。
Kafka 权威指南(三):Kafka 起源故事
本文节选自图灵程序设计丛书 《Kafka权威指南》一书中的部分章节。
2021Java 高级面试题!Java 理论知识总结
1.Kafka的用途有哪些?使用场景如何?
2021 年 7 月 28 日
2019 年“大数据软件”十大融资事件
大数据黄金收割之年
Kafka 的 API 那么多,到底该怎么选?
Kafka 是一头值得研究的野兽。尽管随着时间的推移,Kafka 的内核已经相当稳定,但围绕 Kafka 的框架却在迅速发展。
Kafka 系列 9:面试题是否有必要深入了解其背后的原理?我觉得应该刨根究底(上)
面试题不应该只是简单背背答案而已
LinkedIn 是如何优化 Kafka 的
在LinkedIn的数据基础设施中,Kafka是核心支柱之一。现在,LinkedIn每天利用Kafka处理的消息超过1万亿条,在峰值时每秒钟会发布超过450万条消息。近日,来自LinkedIn的高级工程主管Kartik Paramasivam撰文分享了他们使用和优化Kafka的经验。
24 丨 Kafka:性能监控工具之队列级监控及常用计数器解析
在当前的市场中,Kafka算是用得非常火的一个队列服务器了,所以今天,我选择它来做一些解读。
2020 年 2 月 14 日
加餐(七) | 从微博的 Redis 实践中,我们可以学到哪些经验?
俗话说“他山之石,可以攻玉”,学习掌握这些经验,可以帮助我们在自己的业务场景中更好地应用Redis。
2020 年 11 月 30 日
20 个大数据必知领域之「Flink」
Apache Flink是由Apache Software Foundation开发的开源流处理框架。
Kafka 面试题——20 道 Kafka 知识点
本篇给大家总结了20道Kafka知识点或者说面试题,持续更新中...
2020 年 6 月 29 日
不愧是 Alibaba 技术官,Kafka 的精髓全写这本“限量笔记”里,服了
分布式,是程序员必备技能之一,在面试过程中属于必备类的,在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列,目前它的魅力是无穷的,对于Kafka的奥秘,还需要我们细细去探寻。
2021 年 6 月 15 日
不愧是 Alibaba 技术官,Kafka 的精髓全写这本“限量笔记”里,服了
分布式,是程序员必备技能之一,在面试过程中属于必备类的,在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列,目前它的魅力是无穷的,对于Kafka的奥秘,还需要我们细细去探寻。
2021 年 5 月 31 日
Confluent Platform 3.0 支持使用 Kafka Streams 实现实时的数据处理
来自Confluent的Confluent Platform 3.0消息系统已支持使用Kafka Streams实现实时的数据处理,这家公司也是在背后支撑Apache Kafka消息框架的公司,它近日宣布最新的开源Confluent platform已经达到了通用发布版本。
消息队列:如何降低消息队列系统中消息的延迟?
其实,队列是一种常用的组件,只要涉及到队列,任务的堆积就是一个不可忽视的问题,我遇到过的很多故障都是源于此。
2019 年 11 月 1 日
推荐阅读
客户端都有哪些不常见但是很高级的功能?
2019 年 6 月 29 日
Kafka 面试题——20 道 Kafka 知识点
2020 年 6 月 29 日
Apache Kafka 内核深度剖析
Flink 的经典场景和业务故事有哪些?看看他们就知道了
2020 年 4 月 29 日
携程 /Netflix 案例:如何实现同城双活和异地多活?
2020 年 8 月 27 日
基于区块链服务构建企业区块链业务系统的实践分享与探讨
2018 年 9 月 12 日
不愧是 Alibaba 技术官,Kafka 的精髓全写这本“限量笔记”里,服了
2021 年 7 月 16 日
电子书
大厂实战PPT下载
换一换 乔新亮 | 彩食鲜 副总裁兼 CTO
张彭善 | PayPal 大数据研发架构师、资深数据科学家
朵晓东 | 蚂蚁金服 可信原生技术部 / 高级技术专家
评论