Naiad 是一个研究并行数据流的计算框架,本着 Dryad 和 DryadLINQ 的精神。Dryad 项目主要研究用于为小集群或大型数据中心编写并行和分布式程序的编程模型。DryadLINQ 则是用于开发大规模的、运行在大集群上的并行应用,他具有轻便、强大、优雅的编程环境。与 Dryad 和 DryadLINQ 有别,Naiad 专注于增量计算。
Naiad 支持差别数据流(differential dataflow),基于差别进行操作,而不是基于记录。能在现有昂贵的系统上非常高效的执行。
Naiad 通过 Apache 协议开源,并已经托管在 Github 上。在 SOSP13 上 Naiad 的 PPT 介绍以及论文地址。
Naiad 在微博上引起的热议。
Microsoft 的 Naiad 要吃掉所有的分布式计算框架 (Hadoop/Storm/Spark),支持 Batch、Interactive、Loop,异步消息和同步 Notification,开源。
他还补充道:
Naiad 像一个实验室的产品。
@吴甘沙不看好 Naiad:
和当初表示比 MapReduce 牛很多的师叔 Dryad 可能是相似的命运。
配合他们之前的 differential dataflow 看,觉得赞。
评论