写点什么

Uber 的合成训练数据将深度学习的速度提升了 9 倍

  • 2020-02-12
  • 本文字数:1073 字

    阅读完需:约 4 分钟

Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络(GTN)的算法,该算法为神经网络生成合成训练数据,使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据,Uber 将其神经结构搜索(NAS)深度学习优化过程提升了 9 倍。


在 arXiv 上发表的一篇论文中,该团队描述了这个系统和一系列的实验。GTN 的动机来自神经结构搜索(NAS)问题,它训练许多不同的深度学习模型结构,并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代(或 epoch)训练每个模型,但这既耗时又昂贵。不过,模型可以在 GTN 的合成数据上进行训练,耗时更短,并且可以对其在真实训练数据上的真实表现进行估计;这样可以快速地对模型进行评估,缩短了搜索时间。据研究人员称:


GTN-神经结构搜索(GTN-NAS)堪比目前最先进的 NAS 方法,这些方法的表现最好,并且计算量比典型的 NAS 方法少几个数量级。


神经结构搜索是自动机器学习(AutoML)中一个活跃的研究领域。NAS 有一个缺点,它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间,这意味着该系统将训练更少的模型。Uber 的系统生成了一个新数据集,使得每个模型迭代训练的次数更少,这样,系统就可以在相同的时间内试验更多的模型。


通过较少的迭代训练模型存在的问题是,在非常早期的训练阶段,大多数模型的性能都很差,需要多次迭代来确定模型的真实性能。不过,研究表明,并不是所有的训练样本都这样,仔细选择输入样本可以加快训练速度。Uber 的想法是使用元学习来生成训练样本。与生成对抗网络(GAN)类似,Uber 的 GTN 会训练一个生成器神经网络,为学习者网络生成训练样本。学习者根据真实的测试数据进行评估,生成“元损失”,并用元损失的梯度更新生成器。利用这项技术,Uber 创建了一个生成器,生成用于训练计算机视觉(CV)系统识别MNIST数据集中的数字的样本。CV 系统只需 32 个训练步骤就能达到 98.9%的准确率。Uber 表示,在CIFAR10数据集上的一个类似实验中,他们使用合成数据通过 128 步就可以预测模型性能,而使用真实数据需要 1200 步,速度提高了 9 倍。


论文的共同作者 Jeff Clune 在推特上发了一张由该系统生成的合成图像数据的图片,并将其描述为“另类的、不现实的”。他还说:


在神经结构搜索中,GTN 生成的数据完全可以替代真实数据,这样可以极大地加快任何 NAS 算法的速度。到目前为止,我们只展示了随机搜索-NAS(加上一些花哨的功能),但是我们希望看到其他人尝试下其他更高级的 NAS 方法!


原文链接:


Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x


2020-02-12 09:003474

评论

发布
暂无评论
发现更多内容

CSP直通车“助你成为优秀的专业敏捷教练”| 12月线上面授双周末班

ShineScrum

敏捷教练 专业敏捷教练

玩转 Cgroup 系列之一: Cgroup 的起源、重要性和基本工作原理

小猿姐

Linux 内核 资源管理 Cgroup

一起学Elasticsearch系列-Query DSL

Java随想录

Java 大数据 ES

MouseBoost Pro for Mac(右键助手)

展初云

Mac软件 鼠标辅助

理事长走进统信软件,深度探讨社区发展规划 | 理事长走进系列

OpenAnolis小助手

开源 AI 操作系统 龙蜥社区 统信软件

Xmind for Mac(思维导图软件) 24.01中文版

展初云

Mac 思维导图 XMind

玩转 Cgroup 系列之二:使用 CPUShares 管理 Cgroup

小猿姐

Linux Cgroup CPUShares I/O 调度

如何走出自己的第二曲线

老张

职场成长 第二曲线

服务器 突然断电有什么危害

Geek_f19a80

聚力未来!云起无垠成为光合组织成员单位

云起无垠

普及高质量融资管理举措 ,打造城投国资领先实践,用友Fast by BIP很在“行”

用友BIP

全球司库 国资数智化

Amazon EC2使用测评

查拉图斯特拉说

服务器 亚马逊云科技 EC2

用友在ICDAR发表论文,AI实力获国际顶级学术会议认可

用友BIP

人工智能

亚马逊云科技大语言模型加速OCR应用场景发展

归来

人工智能 OCR 大语言模型

文心大模型驱动的代码助手Comate

百度开发者中心

大模型 #人工智能 智能代码助手

利用Prompt工程提升大模型性能

百度开发者中心

深度学习 大模型

Fig Player for Mac(多媒体播放器)

展初云

播放器 Mac软件 Fig Player

环境变量配置无效?

矩视智能

深度学习 机器视觉

数据流图:一篇文章教你如何轻松画出来

职场工具箱

流程图 教程分享 绘图工具

轻松理解 Transformers (4) :Decoder 和 Output 部分

Baihai IDP

人工智能 深度学习 AI Transformer 白海科技

普通人为什么要学物理?这个答案最逆天!

博文视点Broadview

软件APP定制开发有那些优势?

Geek_16d138

软件定制 app定制开发

大模型训练:提高NLP性能的关键路径

百度开发者中心

nlp 大模型

强大好用的shell:shell命令

小齐写代码

Perfectly Clear Workbench for mac 智能图像清晰处理工具推荐

加油,小妞!

图像处理

MacOS系统的硬件信息扫描工具:EtreCheck pro for Mac

加油,小妞!

etrecheckpro 硬件信息扫描工具

如何正确执行 DORA 指标

SEAL安全

DevOps 持续部署 DORA 企业号11月PK榜

Uber的合成训练数据将深度学习的速度提升了9倍_AI&大模型_Anthony Alford_InfoQ精选文章