QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Google 发布 Tensor2Tensor for TensorFlow

  • 2017-08-13
  • 本文字数:634 字

    阅读完需:约 2 分钟

TensorFlow(TF)社区和 Google 的 Brain 团队发布了作为TF API 重要扩展的 Tensor2Tensor

Tensor2Tensor(T2T)解决了在 TF 上训练和执行模型的模块化和可移植性问题。它将常用的深度学习模型管道抽象成一个可扩展的对象模型,并提供了 TF 训练所需要的标准 API。T2T 的目标之一是要降低模型训练管道和执行环境的重复性成本,同时减少基于 TF 现有 API 进行常见操作的工作量,这些操作原本很难在用户之间共享,它们有些只能用于解决特定的问题。

T2T 基于现有的 TF 库执行很多操作,包括模型架构、优化器、学习率衰退、scheme 和超参数。它还提供了一些预训练过的模型和样本数据集、默认的模型规范,以及超参数 modality 的控制方法。这样有助于用户重复实验、比较和交换结果,让他们专注在课题研究上,而不是把大量精力花费在编排 TF 管道环境上。

T2T 的数据集为标准的 TFRecord protobuf 文件,训练数据集可以通过用户自定义的 Problem 子类来生成,或者通过 Python 装饰器和直接函数调用的方式来生成。Problem 对象由训练时间超参数和它们的输入输出形态及数据集组成。Problem 提供了一些方法用于处理编码、文件路径、输入输出目标、超参数和默认属性值。模型的 metrics (如模型准确度)也被封装在 Problem 中。超参数集合通过装饰器注册成 Hparams 对象。

训练可以被配置成同步或异步模式。通过环境变量 TF_CONFIG 可以指定 master 服务器和参数服务器,支持 grpc 和 gpu 群组,以及计算资源的逻辑集群。

查看英文原文: Google Announces Tensor2Tensor for TensorFlow

2017-08-13 19:002346
用户头像

发布了 322 篇内容, 共 146.2 次阅读, 收获喜欢 148 次。

关注

评论

发布
暂无评论
发现更多内容

【ACL2024】面向Stable Station的交互式多轮Prompt生成模型DiffChat

阿里云大数据AI技术

人工智能 阿里云 acl 论文 DiffChat

单条记录大小增长倍数和ibd文件大小的增长倍数不成正比

GreatSQL

数据库 greatsql

Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程

汀丶人工智能

人工智能 大模型 xinference

Detailed comparison of MT7915 and MT7916 chips: Technical parameters and application scenario analysis

wifi6-yiyi

wifi

新增姿态估计标注,以及模型应用优化|ModelWhale 版本更新

ModelWhale

鉴权 模型应用 模型服务

万亿城商行如何借助 TiDB 构建面向未来的金融核心系统

TiDB 社区干货传送门

实践案例

fabric.js 实现服装/商品定制预览效果

秦少卫

开源项目 FabricJS Fabric.js 开源项目介绍

非扁平网络场景下,基于开源istio治理CCE多集群

华为云开发者联盟

开源 CCE 企业号 8 月 PK 榜 企业号2024年8月PK榜

华为云重磅参会 KubeCon China 2024,精彩议程揭晓 !

华为云原生团队

云计算 容器 云原生

火山引擎ByteHouse助力车企实现高性能数据分析

字节跳动数据平台

大数据 数据仓库 云原生 Clickhouse

【技术分享】用AWS EC2搭建WordPress

伊克罗德信息科技

亚马逊云科技 EC2 MYSCALE

AI驱动的商品企划软件 零售企业市场致胜的智能化利器

第七在线

智谱AI与和鲸科技签署战略合作协议,共拓大模型产业应用与人才培养新未来

ModelWhale

人工智能 大模型 ChatGLM

sync-diff-inspector比对表结构,索引

TiDB 社区干货传送门

​​万界星空科技低代码云mes,更适合中小企业的mes系统

万界星空科技

低代码 低代码平台 mes 云mes 万界星空科技

1688代采集运系统:跨境电商世界的神奇魔法棒

tbapi

1688代采系统 1688代采集运系统

“JVM” 上的AOP:Java Agent 实战

阿里技术

Java spring 阿里 aop

从0到1:AI与低代码如何推动企业创新

天津汇柏科技有限公司

低代码 AI 人工智能

亚信安慧AntDB-M聚合下推—加速你的数据分析查询

亚信AntDB数据库

AntDB

数业智能心大陆 AI解答如何应对焦虑

心大陆多智能体

智能体 焦虑 AI大模型 心理健康 数字心理

Google发布Tensor2Tensor for TensorFlow_AI&大模型_Dylan Raithel_InfoQ精选文章