写点什么

谷歌发布第二代 TPU,并提供了免费试用方案

  • 2017-06-26
  • 本文字数:1247 字

    阅读完需:约 4 分钟

与第一代 TPU 只能服务于机器学习模型计算不同,谷歌最新的 TPU 现在既能处理训练也能处理服务。InfoQ 年初曾详细介绍过第一代 TPU白皮书

第二代TPU 的发布时间与一周前NVIDIA发布 Volta 的时间高度吻合,后者是一个普通的 GPU,针对 TensorFlow 进行了优化,具备经过严格测试的 Tensor Core 特性。谷歌没有像第一代 TPU 发布时那样提供一份与第二代 TPU 配套的公共白皮书。第一代 TPU 的白皮书是在 TPU 发布几个月之后才发布的。所以,可以推测,详细介绍第二代 TPU(TPU-2)基准测试数据的白皮书即将到来。理想情况下,其中会包含 TPU 和竞争对手芯片组配置的测试组合、它们的边界性能以及在它们上面运行的机器学习工作负载类型。和第一代 TPU 白皮书类似,那会提供有关 TPU-2 的详细信息。

谷歌提供了一些高级性能指标,据推测,这些指标是以谷歌通过 GCP计算引擎提供 TPU 即服务时使用的 TPU 物理基础设施配置为基础。一组特定研究人员和科学家将可以免费使用一个包含 1000 个云 TPU 的集群。该免费的 TPU 基础设施和面向其他所有人的 GCP 服务可能有一个很大程度的抽象,硬件研究人员或新闻资讯可以在没有白皮书的情况下有一个深入的了解。在性能提升方面,谷歌指出:

……我们的大规模新翻译模型在 32 个全世界最好的商用 GPU 上训练了一整天,而 1/8 个 TPU Pod 一下午就可以完成这项任务……

TPU-2 Pod 包含由多个 TPU-2 处理器组成的 TPU-2 板。根据谷歌公告中的零星技术信息以及几张照片,我们可以推测,每个芯片上的闪存可能存在连通性,单个的TPU-2 之间可能共享闪存状态。

第二代TPU 基础设施提供多达256 个芯片,它们连接在一起可以提供11.5 千兆次的机器学习运算能力。谷歌接受Alpha 版本试用申请,不过,申请表单和研究人员的免费试用表单相同。目前,还不清楚下一代TPU 是否会用在类似 CloudML 这样在 GPU 上执行模型训练的服务中。不过,该服务不只限于 TPU。该 GCP 特性

让用户可以在竞争对手的芯片(如英特尔的 Skylake )或 GPU(如 Nvidia 的 Volta )上构建自己的模型,然后将项目迁移到谷歌 TPU 云上做最后的处理。

对于 TPU-2 相对于第一代 TPU 的性能提升,现在还很难做出充分的比较,因为它们的特性集和底层数学操作原语不同。第一代 TPU 没有使用浮点操作,而是使用一个 8 位的整数近似地表示浮点数。现在还不知道谷歌是否提供近似方法将浮点运算性能转换成 8 位整数,用于定量分析的浮点运算估计。

谷歌最新的大规模翻译模型在 32 个“最好的商业 GPU”上需要训练一整天,而 1/8 个 TPU Pod 一下午就可以完成这项工作……每块板子的最大峰值吞吐量为每秒 45 万亿次浮点运算,如上所述,系统板每秒总计 180 万亿次浮点运算,峰值性能可达 11500 万亿次。

能够访问闪存以及可以在同样的硬件上提供训练和服务的能力会影响谷歌和其他芯片组生产商的竞争关系,因为 AMD 的 Vega Radeon Instinct GPU 加速器既可以直接访问闪存,也可以提供 ML 训练和服务。

查看英文原文 Second-Generation TPU Offers Both Training and Model Serving, Free Research Tier on GCP

2017-06-26 19:002221
用户头像

发布了 1008 篇内容, 共 389.5 次阅读, 收获喜欢 344 次。

关注

评论

发布
暂无评论
发现更多内容

七天杀上GitHub榜首!Java并发编程深度解析实战,JUC底层原理揭秘

Geek_0c76c3

Java 数据库 开源 程序员 架构

版本控制 | 一文了解VR内容创作的步骤与关键技术

龙智—DevSecOps解决方案

vr VR/AR

Web3流支付迎来新质变,Zebec开放Zepoch节点申请

小哈区块

【一Go到底】第八天---用户输入

指剑

Go golang 10月月更

攻击面分析及应对实践

vivo互联网技术

安全 风险管理 互联网安全

数据库基础

说故事的五公子

MySQL 数据库 sql

Surpass Day——Java static关键字、继承、方法覆盖

胖虎不秃头

Java 10月月更 se

低代码将干掉65%软件开发工作,留给码农的时间不多了!

雨果

低代码

Windows开发工具安装

青柚1943

dapr

线下活动 | 龙智Atlassian ITSM 解决方案即将亮相2022全球运维大会上海站

龙智—DevSecOps解决方案

gops GOPS全球运维大会

文盘Rust -- struct 中的生命周期

京东科技开发者

redis rust 生命周期 Trait Trait Objects

静态代码分析 | 数字驾驶舱时代,如何确保车载信息娱乐系统的网络安全?

龙智—DevSecOps解决方案

网络安全 车载信息娱乐系统 IVI

Surpass Day——Java 多态、final关键字、常量、package、import、访问控制权限修饰符

胖虎不秃头

Java 10月月更 se

LinkedList源码分析(一)

知识浅谈

linkedlist 10月月更

Arduino ESP32-C3 入门初探

矜辰所致

Arduino ESP32-C3 10月月更 Ard

关于 Angular view Query 的 id 选择器问题的单步调试

汪子熙

typescript 前端开发 angular web开发 10月月更

.NET现代化应用开发 - CQRS&类目管理代码剖析

MASA技术团队

.net CQRS MASA Framewrok MASA

直呼内行!阿里大佬离职带出内网专属“Redis设计应用实践”学习笔记

Geek_0c76c3

Java 数据库 开源 程序员 架构

Web3流支付迎来新质变,Zebec开放Zepoch节点申请

鳄鱼视界

Python进阶(四)浅谈Python闭包

No Silver Bullet

Python 闭包 10月月更

Sentinel Go-毫秒级统计数据结构揭秘

柠檬汁Code(binbin0325)

数据结构 源码分析 限流 Sentine 10月月更

SpringCloud版本升级后bootstrap.yml配置不生效

共饮一杯无

Java SpringCloud spring-boot 10月月更

拿到字节跳动offer后,又收到了阿里的面试邀请,二面迎来了P9"盘问"

Geek_0c76c3

Java 开源 程序员 架构 开发

Qt | 实现网页历史记录和查找功能 QWebEngineView

YOLO.

qt 10月月更 C++

议题征集|Flink Forward Asia 2022 正式启动

Apache Flink

大数据 flink 流计算 实时计算

代码质量与安全 | 清洁代码(Clean Code)比您认为的更重要

龙智—DevSecOps解决方案

clean code 清洁代码

Surpass Day——Java this关键字

胖虎不秃头

Java 10月月更 se

Web3流支付迎来新质变,Zebec开放Zepoch节点申请

西柚子

即时通讯技术周刊(第1期):懒人网络编程系列 [共14篇]

JackJiang

网络编程 即时通讯 IM

Python进阶(三)函数式编程之reduce()

No Silver Bullet

Python reduce 10月月更

Qt | 按钮控件的使用 QCheckBox

YOLO.

qt 10月月更 C++

谷歌发布第二代TPU,并提供了免费试用方案_AI&大模型_Dylan Raithel_InfoQ精选文章