Apache Beam 在官方博客上正式发布了Beam 2.0.0。这是Beam 有史以来的第一个稳定版本,根据Beam 社区的声明,Beam 意欲为未来版本发布保持API 的稳定性,并让Beam 适用于企业的部署。
Beam 的第一个稳定版本是 Beam 社区发布的第三个重要里程碑。Beam 在 2016 年 2 月成为 Apache 孵化器项目,并在同年 12 月升级成为Apache 基金会的顶级项目。经过从开始至今的15 个月全神贯注的努力,从一个有点混乱的代码库开始,从各大组织合并代码,成就了如今的这个数据处理框架,它是一个真正与引擎和环境无关的数据处理框架。Beam 经过三个孵化器版本和三个后孵化器版本的演化和改进,最终迎来了它的第一个稳定版2.0.0。
在从升级为顶级项目至今的5 个月时间里,Beam 在采用率和社区贡献两个方面都取得了重大进展。Google Cloud、PayPal、Talend 等公司都在使用 Beam。
Beam 2.0.0 改进了用户体验,专注于提升框架在各种执行环境中的无缝移植能力,这些执行环境包括执行引擎、操作系统、本地集群、云端,以及数据存储系统。Beam 的其他特性还包括如下几点。
- API 稳定性和对未来版本的兼容性。
- 有状态的数据处理范式,支持高效的依赖数据的计算。
- 支持用户扩展的文件系统,内建支持 Hadoop 分布式发文件系统及其他。
- 提供了一个度量指标系统,可用于深入窥见管道的执行情况。
很多贡献者促成了这个稳定版本的发布,他们承担了各种角色的任务:贡献代码、编写文档、测试候选版本、为用户提供支持,等等。
Beam 2.0.0 将会在这周于迈阿密举行的“Apache:大数据”大会上首次亮相,会上将会有四个与 Beam 相关的主题。Beam 也将会成为很多开发者见面会的主角,包括“圣何塞数据的未来”见面会、“伦敦斯特拉塔数据大会”、“柏林 Buzzwords”,以及“圣何塞 DataWorks 峰会”。
开发者从今天开始就可以试用 Beam,也可以考虑加入 Beam 社区,或者可以通过 Beam 的邮件组、问题跟踪系统向社区提供反馈意见和问题。
感谢杜小芳对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ , @丁晓昀),微信(微信号: InfoQChina )关注我们。
评论