看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!
分布式计算技术和工具开发商 Hazelcast 正式发布了他们的开源流式处理引擎 Jet 0.6。
Jet 自 2017 年 2 月起就已可用,而 0.6 是 Hazelcast 版本方案的主要发布版本。
Jet 旨在提供一种功能,让开发人员在各种数据源之上构建分布式容错数据处理管道。它使用 Hazelcast IMDG 作为内部数据管理技术,并以 Hazelcast 的内存计算技术作为基础。Hazelcast 将 Jet 描述为:“让大数据成为应用程序基础设施的一部分”。
与 Hazelcast 的其他产品一样,Jet 也是基于 Java 开发的,并且直接针对 Java 开发人员和团队。Jet 的核心 API 中包含了 java.util.stream 的分布式版本,让刚开始接触分布式处理的 Java 开发人员更容易上手。
Jet 0.6 的新功能和增强功能包括:
- 改进和简化的高级 API(管道)
- 改进的作业管理功能
- 计算弹性
- 新的连接器——Kafka v1.0 和 HDFS v2.8.3
- Java 9 支持(包括模块)
- Spring 集成
- 示例和演示代码
该声明还表明,Jet 内嵌了 Hazelcast IMDG v3.10。这个版本尚未发布,但预计很快会发布。
Jet 的部署拓扑结构与 Hazelcast IMDG 提供的选项类似——Jet 可以嵌入到 JVM 应用程序中,也可以独立运行在基础设施上。
在内部,Jet 将分布式计算作业表示为有向无环图(DAG),并使用协作多线程(又称“绿色线程”)和并发队列来实现低延迟。Jet 的设计灵感来自 Martin Thompson 和他的“Mechanical Sympathy”,以及无等待算法。
该团队宣称,相比其他类似技术,如 Apache Spark,Jet 的 0.6 版本在性能上有显着的提升。
Jet 版本 0.6 已经发布,可以从 Hazelcast 网站( https://jet.hazelcast.org/ )下载,并在 Apache 2 许可下使用。
查看英文原文: Hazelcast Releases Jet 0.6
评论