QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Hortonworks 在壮大:新增对 Kafka 的支持

  • 2014-09-03
  • 本文字数:787 字

    阅读完需:约 3 分钟

据Gigaom 消息透露,Hortonworks 已将Apache Kafka 加入其Hadoop 软件平台的技术预览版中。尽管Kafka 相对于Spark 在流行度方面稍有逊色,但是它也能够被广泛运用于一些大型互联网公司的应用架构中。同时,它还提供了大数据的云存储、处理和分析等服务,能够应对多种来源和多格式的大数据。Kafka 最初是由LinkedIn 设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统,并可用于将Web 应用消息快速传递到合适的数据服务中。Kafka 集成其他数据服务架构如下图所示:

在整合Kafka 之前,Hortonworks 就考虑到了Hadoop 的批处理设计以及广大用户的需求。 于是,Hortonworks 就在其Hadoop 软件平台中集成了Apache Storm 实时计算系统和Spark 并行处理框架,可以看出Hortonworks 在发展大数据技术的同时,正在向快数据技术发展,以迎合那些需要拥有自己大数据基础架构、工程导向的公司,包括已经拥有先进的数据架构的企业,以及新一批的Web 创业公司,甚至包括一些传统企业。

增加对Kafka 的支持看上去似乎是不起眼的举措,Hortonworks 却能籍此与竞争对手(如Cloudera 和MapR 等)形成差异化的优势。尽管Cloudera 和MapR 在自己的产品中也整合了不少开源工具,但它们的收入主要依赖专有软件的授权费用;而Hortonworks 的业务策略是通过推广百分百开源的产品,获取更多用户,并在用户开始大规模部署时收取服务费用。故Hortonworks 看上去对那些需要Storm、Kafka、Spark、Hadoop 等开源技术的客户来说更有吸引力。

另外,据Hortonworks CTO Eric Baldeschwieler 透露,Spark 在不久的将来会取代Hadoop 中的MapReduce,成为大数据生态圈内编写和分享算法的标准平台。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-03 06:241825
用户头像

发布了 92 篇内容, 共 48.0 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

写一篇最近用DM的总结

TiDB 社区干货传送门

迁移

【故障处理】 统计信息收集失败, enconding failed

TiDB 社区干货传送门

故障排查/诊断

一次 sysbench 长稳测试过程中连接中断的问题分析排查

TiDB 社区干货传送门

故障排查/诊断

硅纪元视角 | 亚马逊AI芯片挑战英伟达,承诺最高50%成本节省

硅纪元

亚马逊 gpt4o

Web网页端IM产品RainbowChat-Web的v7.1版已发布

JackJiang

即时通讯 即时通讯;IM;网络编程

探讨大模型前沿技术与商业化落地 |【奇绩潜空间】第3季开始报名

奇绩创坛

人工智能 机器学习 深度学习 大模型 视频生成

一次 sysbench 长稳测试过程中锁丢失导致事务提交失败的问题分析排查

TiDB 社区干货传送门

故障排查/诊断

智谱AI再放“大招”,30秒将任意文字生成视频

Alter

IDC报告 | 飞渡科技位列数字孪生平台市场份额第一,以20.7%的高占比领跑行业市场

新消费日报

硅纪元AI应用推荐 | 豆包整容成了浏览器,让你的电脑秒变AI PC

硅纪元

豆包

飞渡科技数字孪生平台赋能千行百业——飞渡科技2024产品发布会成功举办

新消费日报

贝锐蒲公英智能选路:跨地区远程访问更快、更稳、更可靠

贝锐

远程办公 SD-WAN 智能选路 异地组网

【第八届 TiDB Hackathon】AI 创新应用 TiDB 黑客马拉松正式开启,一起来用 TiDB 构建未来的 AI 创新应用, 瓜分超 ¥210,000 奖金池!

TiDB 社区干货传送门

Dashboard 热力图显示不准? 如何定位热点相关sql ?

TiDB 社区干货传送门

故障排查/诊断

基于开源IM即时通讯框架MobileIMSDK:RainbowChat v11.6版已发布

JackJiang

即时通讯;IM;网络编程

淘宝商品详情API详解:深度解码商品规格参数

代码忍者

从"小白"到"大白":我的TiDB一周年成长记录

TiDB 社区干货传送门

sync_diff_inspector 表结构比较功能探索

TiDB 社区干货传送门

迁移

一文了解 PingCAP Clinic 诊断服务

TiDB 社区干货传送门

故障排查/诊断

为什么企业需要IT外包服务

Ogcloud

IT外包 IT外包公司 IT外包服务 IT外包企业

TikTok批量养号方法

Ogcloud

云手机 海外云手机 tiktok云手机 tiktok运营 TikTok养号

在港发行稳定币,京东为何跟加密市场做起了“兄弟”?

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

数业智能心大陆:定制你的专属心理健康方案

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

淘宝API接口测试全攻略

Noah

和鲸全力支持!人工智能赋课,吉林大学这样建设

ModelWhale

人工智能 教学 吉林大学

Hortonworks在壮大:新增对Kafka的支持_语言 & 开发_李士窑_InfoQ精选文章