写点什么

谷歌开源 Cloud Dataflow Java SDK

  • 2014-12-21
  • 本文字数:768 字

    阅读完需:约 3 分钟

今年早些时候,谷歌宣布了 Cloud Dataflow ,一个批量或实时处理海量数据的服务和 SDK。现在,他们开源了 Dataflow Java SDK ,使开发人员可以看到它的实现方式,并合理使用该 SDK 开发运行在本地或其它云上的服务。

Dataflow 是一项云服务,使用了由 FlumeJava MillWheel 演变而来的技术,前者是一个用于创建数据并行管道的 Java 库,后者是一个用于构建容错流处理应用的框架,在谷歌内部有数百名开发人员在使用它们。Dataflow 是语言无关的,但谷歌提供了一个 Java SDK,使开发人员为它创建应用更简单。

管道是Dataflow 使用的一个关键概念,它由一组“读取输入数据源、转换数据、输出结果的操作”组成。数据组织在大小有限或无限的集合中,并提交给多个“转换(transformations)”,由它们执行计算,即操作输入集合、生成输出集合。“管道执行器(pipeline runner)”是管道的执行环境。该SDK 提供了三种类型的执行器:用于本地计算机的 DirectPipelineRunner ,用于谷歌云平台的 DataflowPipelineRunner ,还有同样用于谷歌云的 BlockingDataflowPipelineRunner ,但它会在执行状态中打印日志消息。

管道可以很简单,转换一个接一个地线性执行,或者也可以是一个复杂的有向图,转换路径先分支后合并。一个管道不能与另一个管道共享数据或转换。管道异步执行,而且为了优化整个处理过程的效率,数据流服务可以决定部分转换的执行顺序。

Dataflow 应用可以部署在谷歌云平台上,后者可以提供所需的所有基础设施,其中包括提供运行代码的虚拟机、数据存储或者用于数据处理的 BigQuery 机制。但开发人员也可以将这些应用部署在不同的执行环境中,既可以在本地,也可以在其它云上,只要创建了相同的服务即可。

Dataflow SDK 中包含了示例。谷歌已经创建了一个 Stack Overflow 标签来回答开发人员的问题。

查看英文原文:**** Google Open Sources Cloud Dataflow Java SDK

2014-12-21 08:213560
用户头像

发布了 1008 篇内容, 共 389.5 次阅读, 收获喜欢 344 次。

关注

评论

发布
暂无评论
发现更多内容

DoS?DDoS?这件事要从另一个D说起……

郑州埃文科技

网络安全 DOS攻击 IP定位

别再说你不会!linux服务器搭建教程视频百度网盘,nginx入门书籍

Java 程序员 后端

云栖大会:《永不止步的云上创新》——蒋江伟

代码 科技革命 计算 云 原生云 CTO 云栖大会

别再说自己不会了!极客时间破解版没用,Redis成神之路电子版教程已问世

Java 程序员 后端

卧薪尝胆70天内推入职阿里,2021Java春招

Java 程序员 后端

初级Java面试题大全,极客邦科技面试,linux架构学习视频

Java 程序员 后端

别再说自己不会JVM虚拟机了,35岁技术人如何转型做管理

Java 程序员 后端

鸿蒙轻内核源码分析:异常钩子模块系统中断异常,如何转储异常信息

华为云开发者联盟

鸿蒙 内存 存储 函数 异常钩子

十分钟带你回顾Spring常问的知识点,springcloud面试题汇集与答案

Java 程序员 后端

分享Java资深架构师的成长之路,今日头条面试经历

Java 程序员 后端

分享一次面试经历,享学课堂java架构师课程,【高级Java架构师系统学习】

Java 程序员 后端

分享我在Java开发中走的一些弯路,不同层级的Java开发者的不同行为

Java 程序员 后端

劲爆!java微信小程序开发教程视频,Java学习路线指南

Java 程序员 后端

Tapdata 携手精诚瑞宝,共拓 Real Time DaaS 蓝海市场

tapdata

数据库

十年Java编程开发生涯,未来教育计算机二级java激活码,面试官突击一问

Java 程序员 后端

华为大神花费5个月打造的这份714页学习笔记系列,面试看这个就够了

Java 程序员 后端

华为财经2021春招面试,尚硅谷springboot笔记,最全Java知识总结

Java 程序员 后端

区块链交易隐私如何保证?华为零知识证明技术实战解析

华为云开发者联盟

区块链 金融 零知识证明 同态加密 交易隐私

十分钟带你看懂Netty如何实现C-S,美团Java开发面试

Java 程序员 后端

厉害了!尚硅谷mysql中employees表,腾讯T2手把手教你

Java 程序员 后端

华为Java面试题及答案,java开发实例教程课后答案石磊,查漏补缺

Java 程序员 后端

声纹识别帮你守住钱袋子,聊一聊证券行业里的人工智能

Zilliz

AI 向量检索 Milvus 向量

分享一波阿里、字节、腾讯、美团等精选大厂面试题,Java面试题整理

Java 程序员 后端

分享一点面试小经验,2021年互联网大厂Java笔经

Java 程序员 后端

4个实验,彻底搞懂TCP连接的断开

捉虫大师

TCP

Android 构建工具--AAPT2源码解析(一)

vivo互联网技术

打包APK 源码剖析 Android端

厉害了!java使用教程视频,我的Java春季历程

Java 程序员 后端

分享一点面试小经验,2021吊打面试官系列

Java 程序员 后端

分享复习经验和后台开发面经,阿里架构师深入讲解Java开发

Java 程序员 后端

助你面试一臂之力,linux基础教程第2版课后思考题答案,阿里巴巴Java面试题

Java 程序员 后端

十年Java编程开发生涯,尚学堂网易上的中级,推荐一个GitHub项目

Java 程序员 后端

谷歌开源Cloud Dataflow Java SDK_Java_Abel Avram_InfoQ精选文章