写点什么

谷歌官方解读:TensorFlow 2.0 哪些新特性值得关注?

  • 2019-01-16
  • 本文字数:3253 字

    阅读完需:约 11 分钟

谷歌官方解读:TensorFlow 2.0哪些新特性值得关注?

2018 年 11 月,TensorFlow 在庆祝 3 岁生日时回顾了其多年来增加的功能。 对于即将发布的 TensorFlow 2.0,TensorFlow 团队感到非常兴奋。相比于旧版本,这个被团队视为另一重要里程碑的版本又新增了哪些功能呢?


TensorFlow 2.0 将专注于简单性和易用性,具体更新包括:


  • 使用 Keras 和 eager execution 轻松建模。

  • 在任何平台生产中部署强大的模型。

  • 强大的研究实验。

  • 清理弃用的 API,减少重复,简化 API。


在过去几年中,我们为 TensorFlow 添加了许多组件。TensorFlow 2.0 将这些组件打包成一个综合平台,支持从训练到部署的整个机器学习工作流程。TensorFlow 2.0 新架构示意图如下:



(注意:虽然此图的训练部分侧重于 Python API,但 TensorFlow.js 也支持训练模型。TensorFlow 2.0 还对其他语言有不同程度的支持,包括 Swift、R 和 Julia。)

更简单地创建模型

在最近的博客文章中,我们宣布 Keras 是一个用户友好的机器学习 API 标准,并将成为用于构建和训练模型最重要的高级 API。Keras API 让你可以轻松开始使用 TensorFlow。重要的是,Keras 提供了一些模型创建 API(顺序、功能和子类),让用户可以为项目选择合适的抽象级别。TensorFlow 的实现增强包括 eager execution、快速迭代和直接调试,以及用于构建可扩展输入管道的 tf.data。


以下为示例工作流程(在接下来的几个月中,我们将努力更新链接的中指南):


  1. 使用 tf.data 加载数据;使用由 tf.data 创建的输入管道读取训练数据;使用 tf.feature_column 描述特征特点,例如分段和特征交叉;支持来自内存数据的便捷输入(例如,NumPy)。

  2. 使用 tf.keras 或预先做好的评估器构建、训练和验证你的模型。 Keras 与 TensorFlow 的其余部分紧密集成,因此可以随时访问 TensorFlow 的功能。还可以直接使用一组标准的打包模型(例如,线性或逻辑回归、梯度提升树、随机森林,用 tf.estimator API 实现)。如果你不想从头开始训练模型,不久之后你就可以用迁移学习来训练使用 TensorFlow Hub 模块的 Keras 或评估器模型。

  3. 运行 eager execution 和调试,然后使用 tf.function(图形)。默认情况下,TensorFlow 2.0 以 eager execution 的方式运行,以便于使用和调试。此外,tf.function 注释将你的 Python 程序完全透明地转换为 TensorFlow 图形。此过程保留了 1.x TensorFlow 基于图形运行的所有优点:在性能优化、远程运行和轻松序列化、导出和部署的同时,使用简单的 Python 让程序表达更加灵活易用。

  4. 使用分布策略进行分布式训练。对于大型机器学习训练任务,分布式策略 API 可以轻松地在不同硬件配置上分发和训练模型,而无需更改模型定义。由于 TensorFlow 支持各种硬件加速器,如 CPU、GPU 和 TPU,因此你可以将训练工作负载分配到单节点/多加速器以及多节点/多加速器配置(包括 TPU Pod)。此 API 支持各种群集配置,还提供在本地或云环境中部署 Kubernetes 群集训练的模板。

  5. 导出到 SavedModel。 TensorFlow 将 SavedModel 标准化并作为 TensorFlow Serving、TensorFlow Lite、TensorFlow.js、TensorFlow Hub 等的交换格式。

在任何平台生产中部署模型

TensorFlow 一直以来都可以直接用于生产。无论是在服务器、边缘设备还是 Web 上,TensorFlow 都可以让你轻松地训练和部署模型,无论使用何种语言或平台。在 TensorFlow 2.0 中,我们通过标准化交换格式和对齐 API 来提高跨平台和组件的兼容性和匹配性。


训练并保存模型后,你可以直接在应用程序中运行,也可以使用以下任意一个部署库为其提供服务:


  • TensorFlow Serving:TensorFlow 库,可以通过 HTTP / REST 或 gRPC /协议缓冲区提供模型。

  • TensorFlow Lite:TensorFlow 针对移动和嵌入式设备的轻量级解决方案,提供了在 Android、iOS 和嵌入式系统(如 Raspberry Pi 和 Edge TPU)上部署模型的功能。

  • TensorFlow.js:让开发者可以在 JavaScript 环境中部署模型,例如通过 Node.js 在 Web 浏览器或服务器端部署模型。TensorFlow.js 还支持使用类似 Keras 的 API 在 JavaScript 中定义模型并直接在 Web 浏览器中进行训练。


TensorFlow 还支持其他语言(其中一些由更广泛的社区维护),包括 C、Java、Go、C#、Rust、Julia、R 等。

强大的研究实验

TensorFlow 可以轻松地把新创意转换为代码。TensorFlow 2.0 集成了许多功能,可以在不牺牲速度或性能的情况下定义和训练最先进的模型:


  • Keras Functional API 和 Model Subclassing API:允许创建复杂的拓扑,包括使用残差层、自定义多输入/输出模型以及命令式写入的前向传递。

  • 自定义训练逻辑:使用 tf.GradientTape 和 tf.custom_gradient 对梯度计算进行细粒度控制。

  • 为了更灵活和易于控制,旧版本的 TensorFlow API 可以一直继续使用,并与更高级别的抽象结合,以实现完全可定制的逻辑。


TensorFlow 2.0 新增了一些功能,让研究人员和高级用户可以进行实验,使用丰富的扩展,如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor 等。


除了这些功能外,TensorFlow 还提供了让原型设计和调试更简单的 eager execution,分发策略 API 和 AutoGraph,可以进行大规模训练并支持 TPU,使 TensorFlow 2.0 成为一个易于使用、可定制、高度可扩展,可以运行并将最先进机器学习研究转化为实际生产的平台。

TensorFlow 1.x 和 2.0 之间的差异

自从首次开源以来, TensorFlow 已经有许多版本和 API 迭代。TensorFlow 2.0 可以基于语义版本控制(semantic versioning)清理和模块化平台。


以下是一些较大的变化:



此外,tf.contrib 将从核心 TensorFlow 存储库和构建过程中删除。TensorFlow 的 contrib 模块不断增长,单个存储库已经难以维护和支持。较大的项目可以更好地进行单独维护,而较小的扩展将逐渐转向核心 TensorFlow 代码。我们还创建了一个特殊族群(SIG,special interest group)来维护并进一步开发一些更重要的贡献项目。如果你有兴趣参与,请参与此 RFC:https://github.com/tensorflow/community/pull/37

兼容性和连续性

为了简化 TensorFlow 2.0 迁移,我们提供了一个转换工具,它可以更新 TensorFlow 1.x Python 代码,以兼容 TensorFlow 2.0 API,或者标记代码无法自动转换的情况。


并非所有更改都可以完全自动完成。例如,某些已弃用的 API 没有替换项。这就是我们引入 tensorflow.compat.v1 兼容性模块的原因,该模块保留了对完整 TensorFlow 1.x API(不包括 tf.contrib)的支持。该模块将在 TensorFlow 2.x 的生命周期内运行,让使用 TensorFlow 1.x 编写的代码继续运作。


此外,SavedModels 或存储的 GraphDefs 将向后兼容。使用 1.x 版本保存的 SavedModels 仍可以在 2.x 中加载和执行。但是,2.0 中的变更可能会导致原始检查点中的变量名称更改,因此,无法保证 2.0 之前版本的检查点正常工作。有关详细信息,请参阅 Effective TensorFlow 2.0 指南 https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/effective_tf2.md


我们相信,TensorFlow 2.0 将为社区带来巨大的利益,并投入大量精力让转换变得尽可能简单。但是,我们也认识到,迁移当前的管道需要时间。因此,我们将在最后的 1.x 版本中提供 12 个月的安全补丁,以便现有用户有充足的时间进行过渡。

TensorFlow 2.0 时间表

TensorFlow 2.0 将于今年年初发布公开预览版。但为什么要等呢?现在,你已经可以通过使用 tf.keras 和 eager execution,预打包模型和部署库来开发 TensorFlow 2.0。分发策略 API 目前已部分可用。


我们对 TensorFlow 2.0 以及即将发生的变化感到非常兴奋。TensorFlow 已经从一个深度学习软件库开发,成长为适用于所有类型机器学习的整个生态系统。TensorFlow 2.0 将变得简单易用,适用于所有平台上的所有用户。


参考链接:


https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8


极客时间《TensorFlow快速入门与实战》专栏


2019-01-16 07:008876
用户头像

发布了 98 篇内容, 共 64.0 次阅读, 收获喜欢 285 次。

关注

评论

发布
暂无评论
发现更多内容

毕业设计-设计电商秒杀系统

默光

秒杀架构设计 架构训练营5期

都2022了,不会还有人不会idea注释相关的配置吧,速进本文

芝士味的椒盐

Java IDEA 5月月更

2020字节跳动秋招技术面试题:Kafka+反射

爱好编程进阶

Java 程序员 后端开发

2021年学习Java还有意义吗?

爱好编程进阶

Java 程序员 后端开发

网站开发进阶(九)应用内存检测

No Silver Bullet

内存泄露 变量声明 5月月更

互联网跨界造芯的“菊与刀”

IC男奋斗史

芯片 芯片行业思考

Git进阶系列 | 4. 合并冲突

俞凡

git 最佳实践

2021-03-26【PTA】

爱好编程进阶

程序员 后端开发

nginx配置系列(五)限制连接数

乌龟哥哥

5月月更

开源字节系统白皮书

源字节1号

软件开发

网站开发进阶(五)网站发布之道

No Silver Bullet

Apache tomcat IIS 5月月更 网站发布

2021-11-27【算法竞赛入门到进阶】

爱好编程进阶

程序员 后端开发

Git进阶系列 | 5. Rebase vs Merge

俞凡

git 最佳实践

Git进阶系列 | 6. 交互式Rebase

俞凡

git 最佳实践

不造芯,不配做互联网巨头

IC男奋斗史

芯片行业思考

2021-3-20 【推箱子】

爱好编程进阶

Java 程序员 后端开发

DevOps系列之 —— DevOps概览(二)新型软件技术及交付模式

若尘

DevOps 5月月更

[Day34]-[二叉树]有序链表转换二叉搜索树

方勇(gopher)

LeetCode 二叉树 数据结构和算法

《数据中心白皮书 2022》揭秘“东数西算”下数据中心高性能计算的六大趋势八大技术

GPU算力

使用MyBatis-Plus代码生成器(数据库MySQL/Sqlite

芝士味的椒盐

Java mybatis 5月月更

130道BATJM真题及解析:集合+Spring

爱好编程进阶

Java 程序员 后端开发

Git进阶系列 | 3. 基于Pull Request实现更好的协作

俞凡

git 最佳实践

如何登录到你的 WordPress 管理仪表板

海拥(haiyong.site)

5月月更

13W字!银四巨作:Java进阶架构师核心手册

爱好编程进阶

Java 程序员 后端开发

2021秋招运维工程师岗位常考的知识点

爱好编程进阶

Java 程序员 后端开发

28天面试突击:JVM+Redis

爱好编程进阶

程序员 后端开发

【愚公系列】2022 年 05 月 二十三种设计模式(三)-建造者模式(Builder Pattern)

愚公搬代码

5月月更

超级原始人系列盲盒即将上线,PlatoFarm赋能超多权益

西柚子

2021-3-29 【PTA】

爱好编程进阶

Java 程序员 后端开发

用户体验思维 7 大陷阱

龙国富

产品设计 UI UX 用户体验 产品设计与思考

1篇文章全面总结2020年Java面试知识,掌握这些你也能进大厂!

爱好编程进阶

程序员 后端开发

谷歌官方解读:TensorFlow 2.0哪些新特性值得关注?_编程语言_TensorFlow团队_InfoQ精选文章