写点什么

谷歌官方解读:TensorFlow 2.0 哪些新特性值得关注?

  • 2019-01-16
  • 本文字数:3253 字

    阅读完需:约 11 分钟

谷歌官方解读:TensorFlow 2.0哪些新特性值得关注?

2018 年 11 月,TensorFlow 在庆祝 3 岁生日时回顾了其多年来增加的功能。 对于即将发布的 TensorFlow 2.0,TensorFlow 团队感到非常兴奋。相比于旧版本,这个被团队视为另一重要里程碑的版本又新增了哪些功能呢?


TensorFlow 2.0 将专注于简单性和易用性,具体更新包括:


  • 使用 Keras 和 eager execution 轻松建模。

  • 在任何平台生产中部署强大的模型。

  • 强大的研究实验。

  • 清理弃用的 API,减少重复,简化 API。


在过去几年中,我们为 TensorFlow 添加了许多组件。TensorFlow 2.0 将这些组件打包成一个综合平台,支持从训练到部署的整个机器学习工作流程。TensorFlow 2.0 新架构示意图如下:



(注意:虽然此图的训练部分侧重于 Python API,但 TensorFlow.js 也支持训练模型。TensorFlow 2.0 还对其他语言有不同程度的支持,包括 Swift、R 和 Julia。)

更简单地创建模型

在最近的博客文章中,我们宣布 Keras 是一个用户友好的机器学习 API 标准,并将成为用于构建和训练模型最重要的高级 API。Keras API 让你可以轻松开始使用 TensorFlow。重要的是,Keras 提供了一些模型创建 API(顺序、功能和子类),让用户可以为项目选择合适的抽象级别。TensorFlow 的实现增强包括 eager execution、快速迭代和直接调试,以及用于构建可扩展输入管道的 tf.data。


以下为示例工作流程(在接下来的几个月中,我们将努力更新链接的中指南):


  1. 使用 tf.data 加载数据;使用由 tf.data 创建的输入管道读取训练数据;使用 tf.feature_column 描述特征特点,例如分段和特征交叉;支持来自内存数据的便捷输入(例如,NumPy)。

  2. 使用 tf.keras 或预先做好的评估器构建、训练和验证你的模型。 Keras 与 TensorFlow 的其余部分紧密集成,因此可以随时访问 TensorFlow 的功能。还可以直接使用一组标准的打包模型(例如,线性或逻辑回归、梯度提升树、随机森林,用 tf.estimator API 实现)。如果你不想从头开始训练模型,不久之后你就可以用迁移学习来训练使用 TensorFlow Hub 模块的 Keras 或评估器模型。

  3. 运行 eager execution 和调试,然后使用 tf.function(图形)。默认情况下,TensorFlow 2.0 以 eager execution 的方式运行,以便于使用和调试。此外,tf.function 注释将你的 Python 程序完全透明地转换为 TensorFlow 图形。此过程保留了 1.x TensorFlow 基于图形运行的所有优点:在性能优化、远程运行和轻松序列化、导出和部署的同时,使用简单的 Python 让程序表达更加灵活易用。

  4. 使用分布策略进行分布式训练。对于大型机器学习训练任务,分布式策略 API 可以轻松地在不同硬件配置上分发和训练模型,而无需更改模型定义。由于 TensorFlow 支持各种硬件加速器,如 CPU、GPU 和 TPU,因此你可以将训练工作负载分配到单节点/多加速器以及多节点/多加速器配置(包括 TPU Pod)。此 API 支持各种群集配置,还提供在本地或云环境中部署 Kubernetes 群集训练的模板。

  5. 导出到 SavedModel。 TensorFlow 将 SavedModel 标准化并作为 TensorFlow Serving、TensorFlow Lite、TensorFlow.js、TensorFlow Hub 等的交换格式。

在任何平台生产中部署模型

TensorFlow 一直以来都可以直接用于生产。无论是在服务器、边缘设备还是 Web 上,TensorFlow 都可以让你轻松地训练和部署模型,无论使用何种语言或平台。在 TensorFlow 2.0 中,我们通过标准化交换格式和对齐 API 来提高跨平台和组件的兼容性和匹配性。


训练并保存模型后,你可以直接在应用程序中运行,也可以使用以下任意一个部署库为其提供服务:


  • TensorFlow Serving:TensorFlow 库,可以通过 HTTP / REST 或 gRPC /协议缓冲区提供模型。

  • TensorFlow Lite:TensorFlow 针对移动和嵌入式设备的轻量级解决方案,提供了在 Android、iOS 和嵌入式系统(如 Raspberry Pi 和 Edge TPU)上部署模型的功能。

  • TensorFlow.js:让开发者可以在 JavaScript 环境中部署模型,例如通过 Node.js 在 Web 浏览器或服务器端部署模型。TensorFlow.js 还支持使用类似 Keras 的 API 在 JavaScript 中定义模型并直接在 Web 浏览器中进行训练。


TensorFlow 还支持其他语言(其中一些由更广泛的社区维护),包括 C、Java、Go、C#、Rust、Julia、R 等。

强大的研究实验

TensorFlow 可以轻松地把新创意转换为代码。TensorFlow 2.0 集成了许多功能,可以在不牺牲速度或性能的情况下定义和训练最先进的模型:


  • Keras Functional API 和 Model Subclassing API:允许创建复杂的拓扑,包括使用残差层、自定义多输入/输出模型以及命令式写入的前向传递。

  • 自定义训练逻辑:使用 tf.GradientTape 和 tf.custom_gradient 对梯度计算进行细粒度控制。

  • 为了更灵活和易于控制,旧版本的 TensorFlow API 可以一直继续使用,并与更高级别的抽象结合,以实现完全可定制的逻辑。


TensorFlow 2.0 新增了一些功能,让研究人员和高级用户可以进行实验,使用丰富的扩展,如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor 等。


除了这些功能外,TensorFlow 还提供了让原型设计和调试更简单的 eager execution,分发策略 API 和 AutoGraph,可以进行大规模训练并支持 TPU,使 TensorFlow 2.0 成为一个易于使用、可定制、高度可扩展,可以运行并将最先进机器学习研究转化为实际生产的平台。

TensorFlow 1.x 和 2.0 之间的差异

自从首次开源以来, TensorFlow 已经有许多版本和 API 迭代。TensorFlow 2.0 可以基于语义版本控制(semantic versioning)清理和模块化平台。


以下是一些较大的变化:



此外,tf.contrib 将从核心 TensorFlow 存储库和构建过程中删除。TensorFlow 的 contrib 模块不断增长,单个存储库已经难以维护和支持。较大的项目可以更好地进行单独维护,而较小的扩展将逐渐转向核心 TensorFlow 代码。我们还创建了一个特殊族群(SIG,special interest group)来维护并进一步开发一些更重要的贡献项目。如果你有兴趣参与,请参与此 RFC:https://github.com/tensorflow/community/pull/37

兼容性和连续性

为了简化 TensorFlow 2.0 迁移,我们提供了一个转换工具,它可以更新 TensorFlow 1.x Python 代码,以兼容 TensorFlow 2.0 API,或者标记代码无法自动转换的情况。


并非所有更改都可以完全自动完成。例如,某些已弃用的 API 没有替换项。这就是我们引入 tensorflow.compat.v1 兼容性模块的原因,该模块保留了对完整 TensorFlow 1.x API(不包括 tf.contrib)的支持。该模块将在 TensorFlow 2.x 的生命周期内运行,让使用 TensorFlow 1.x 编写的代码继续运作。


此外,SavedModels 或存储的 GraphDefs 将向后兼容。使用 1.x 版本保存的 SavedModels 仍可以在 2.x 中加载和执行。但是,2.0 中的变更可能会导致原始检查点中的变量名称更改,因此,无法保证 2.0 之前版本的检查点正常工作。有关详细信息,请参阅 Effective TensorFlow 2.0 指南 https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/effective_tf2.md


我们相信,TensorFlow 2.0 将为社区带来巨大的利益,并投入大量精力让转换变得尽可能简单。但是,我们也认识到,迁移当前的管道需要时间。因此,我们将在最后的 1.x 版本中提供 12 个月的安全补丁,以便现有用户有充足的时间进行过渡。

TensorFlow 2.0 时间表

TensorFlow 2.0 将于今年年初发布公开预览版。但为什么要等呢?现在,你已经可以通过使用 tf.keras 和 eager execution,预打包模型和部署库来开发 TensorFlow 2.0。分发策略 API 目前已部分可用。


我们对 TensorFlow 2.0 以及即将发生的变化感到非常兴奋。TensorFlow 已经从一个深度学习软件库开发,成长为适用于所有类型机器学习的整个生态系统。TensorFlow 2.0 将变得简单易用,适用于所有平台上的所有用户。


参考链接:


https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8


极客时间《TensorFlow快速入门与实战》专栏


2019-01-16 07:009006
用户头像

发布了 98 篇内容, 共 64.9 次阅读, 收获喜欢 285 次。

关注

评论

发布
暂无评论
发现更多内容

Ubuntu 基于Nginx1.8的Golang环境搭建(Ubuntu 20.04 + Nginx1.8 + Golang 1.17 )

Owen Zhang

golang nginx ubuntu

缓存一致性最佳实践

得物技术

缓存 分布式 数据 一致性 实践

在Mac上运行Rainbond,10分钟快速安装

北京好雨科技有限公司

大搜车面向复杂业务场景的研发运维体系治理实践

阿里云弹性计算

弹性计算 运维峰会 研发运维

2021 OceanBase 年度报告 | 用技术让海量数据的管理和使用更简单!

OceanBase 数据库

开源 年度报告 oceanbase 成绩单

区块链,元宇宙时代的“基础设施”

CECBC

城墙上的“云镜派”,如何守护云上资产安全?

白洞计划

发挥好数字人民币促“双碳”作用

CECBC

2021关键词:重新起航

faiting

数据结构算法 盘点 2021

Hyperf结合PhpOffice/PhpSpreadsheet实现Excel&CSV文件导出导入

Owen Zhang

php hyperf php扩展 PhpOffice/PhpSpreadsheet

Hadoop中mapreduce作业日志是如何生成的

华为云开发者联盟

hadoop hdfs mapreduce YARN 作业日志

最佳实践:青藤云安全发布国内首个K8S ATT&CK攻防矩阵

青藤云安全

Golang:定时器的终止与重置

恒生LIGHT云社区

golang 定时器 语言 Go 语言

评委拍案叫绝、项目惊喜不断,这是一届怎样的 Hackathon ?丨TiDB Hackathon 2021 回顾

PingCAP

企业管理系统可视化权限功能设计

雯雯写代码

可视化 权限 企业管理系统

新能力让数据多端协同更便捷,数据跨端迁移更高效!|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

微服务分布式架构中,如何实现日志链路跟踪

华为云开发者联盟

微服务 日志 分布式架构 logback 链路跟踪

深入解析Kafka的offset管理

编程江湖

kafka

C语言-函数的定义、声明、传参

DS小龙哥

C语言

C语言-函数的可变形参(不定形参)

DS小龙哥

C语言

Ubuntu LNMPR环境搭建(Ubuntu 20.04 + Nginx1.8 + PHP 7.3 + Mysql8.0 + Redis5.0)

Owen Zhang

ubuntu LNMPR

Java开发Redis面试题分享

@零度

redis Java 开发

如何打造一款三消类游戏

Shopee技术团队

算法 前端 游戏 Shopee Candy

C语言-数组

DS小龙哥

C语言

从内存管理原理,窥探OS内存管理机制

华为云开发者联盟

cpu 内存 内存管理 应用程序 OS

阿里云何川:开放兼容的云,计算巢帮助合作伙伴云化升级

阿里云弹性计算

弹性计算 年度峰会 计算巢

在Windows上运行Rainbond,10分钟快速安装

北京好雨科技有限公司

『征文精选』技术翻译与术语管理技术:专业人说专业话

SphereEx

数据库 翻译 ShardingSphere 征文 SphereEx

抢占先机!为何说区块链通证经济象征未来?

CECBC

跨平台技术实战!百度文库跨平台技术快速落地全过程

百度Geek说

跨平台 PC 百度文库

深入理解百度在离线混部技术

百度Geek说

云计算 云原生 后端

谷歌官方解读:TensorFlow 2.0哪些新特性值得关注?_编程语言_TensorFlow团队_InfoQ精选文章