上个月末,Google发布了alpha 版本的 TensorFlow (TF)集成云端机器学习服务,为回应不断增长的大规模在Google云端平台(GCP)运行Tensor Flow 库的需要。
Google详细描述了一些有关建立TF 使用规模的新功能,其中集成了一些GCP 的模块,例如 Dataproc ,是一个托管的 Hadoop 和 Spark 服务。开源机器学习系统 TF 和 GCP 的集成“使用户能够在托管的云服务上运行自定义的分布式学习算法”,作为发布的一部分,并与大数据和分析平台以及机器学习领域紧密地结合起来。
PaaS 将 TF 和若干预先为语言翻译、图片与语音辨识训练的模型连接起来。TF服务现在集成了 Kubernets 以利用它的负载平衡器和 Docker 的 pod 编制语义来“有规模地训练成千上万的内核”。这个例子通过复制包装过的TF 资源记下了运行一个训练过的 Inception-v3 模型的过程,包括 TF 基于服务的 gRPC 服务器和跨 pod 模型属性,以及在一个集群过程中“超过 2700 万的参数和每次推理进行的 57 亿浮点运算”。
Docker 集成进一步支持了新模型作为持续训练管道的版本打包和部署,这是一个 TF 服务目标在今年早些时候公布的。一个为展示和学习的TF 和Kubernetes教程允许用户再现一个基于Inception 的TF 和Kubernetes 管道。
这次通告还提及了Apache Beam ,这是一个新的数据处理管道项目方案,它可以潜在地满足一定规模的 TF 对传递学习数据集的管道需要,提供了批处理和流处理选项,同时也兼容 Spark 、 Flink 和基于 Dataflow 的系统。Google 提供了与紧密耦合的 ML 系统相关的分析,根据可维护性和随着时间而产生的技术债而来,其中的技术债可能会指向ML 更远的标准化可能性和通过观看TF 贯穿于GCP 中渐增的普遍性。
查看英文原文: Google Cloud Machine Learning and Tensor Flow Alpha Release
感谢侠天对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ , @丁晓昀),微信(微信号: InfoQChina )关注我们。
评论