写点什么

Google 大脑团队 2016 年度回顾

  • 2017-02-02
  • 本文字数:3644 字

    阅读完需:约 12 分钟

Google 大脑团队的长远目标是,创造更智能的软件系统以改善人类生活,并通过各种不同领域纯粹的应用型研究来实现。尽管这明显是一个长期目标,但我们想退回一步,回顾团队去年的一些进步,并分享我们对 2017 年的期许。

研究成果发表

评价研究质量的一个重要方式,就是通过在国际顶级机器学习会议,比如 ICML NIPS ICLR 上发表成果。过去的一年,我们的团队在这些会议上有 27 篇论文被接受,涵盖诸多话题,包括程序化网络间的知识传递机器学习模型的分布式训练语言模型生成无监督机器学习自动化定理证明更好的神经网络理论理解强化学习的算法改进 等等。还有更多的论文被其他领域的会议接受,比如自然语言处理的 ACL CoNNL 大会,语音的 ICASSP ,视觉的 CVPR ,机器人的 ISER 和计算机系统的 OSDI 大会。我们团队还提交了 34 篇论文给即将召开的 ICLR 2017,这是一个深度学习研究的顶级会议。可以通过这里了解我们在这些论文中的工作。

自然语言理解

我们研究的关键领域之一,是让计算机更好地理解人类语言。2014 年末,大脑团队的三位研究人员发表了一篇关于序列到序列的神经网络学习( Sequence to Sequence Learning with Neural Networks )的论文,论证了机器翻译技术的可行性。2015 年,我们展示了这项技术也可以用于生成图片标题语句分析,以及求解计算几何问题。到了2016 年,这项前瞻研究(有了更大的提升)前所未有地让大脑团队成员与Google 翻译团队紧密协作,最终用一个完整的端到端学习系统(研究论文)全部替代了Google 翻译开发的翻译算法。这个新系统弥补了旧系统和人类优质翻译之间的差距,对于一些语言间的翻译目前高达85% 的准确率。几周后,我们展示了该系统是如何做到“ zero-shot tranaslate ”的,即无翻译样本情景下的学习翻译(研究论文)。该系统目前已部署在Google 翻译的生成环境,且支持越来越多的语言之间的翻译,为用户提供更高质量的翻译,让人们消除语言隔阂更加高效地沟通。Gideon Lewis-Kraus 撰文“ The Great A.I. Awakening ”介绍了这项翻译杰作(以及深度学习和 Google 大脑团队的历史),这篇深度文章于 2016 年 12 月发表在纽约时报杂志。

机器人技术

商业机器人控制算法是非常谨慎和精细地手工编程,并且因为意味着给机器人带来新的能力,所以通常是一个非常辛苦的过程。我们相信更好的解决方案是,让机器人通过机器学习自动化地学习并获得新技能。去年,我们与 Google X 团队的研究人员合作,展示了机械臂如何通过学习手眼协调,总结它们的经验以更快地自学(研究论文)。我们的机器人在研究期间完成了大约800,000 个很有把握的尝试。年末,我们发掘了3 种可能的可行方案来学习新技能:通过强化学习、通过交互学习,以及通过演示学习。我们将沿此目标继续努力,让机器人能灵活便捷地学习新任务,并运行在复杂的真实环境中。为帮助其他机器人技术研究人员,我们开放了多个机器人数据集

医疗卫生

有可能通过机器学习来增强医生和医疗从业者的能力,这让我们非常兴奋。仅仅作为一个可能性示例,发表在美国医学会会刊( JAMA )上的一篇论文,展示了一个机器学习驱动的诊断系统通过一张视网膜图像进行糖尿病视网膜病变诊断,其能力已经与一个认证的眼科专家相当。如果无法发现糖尿病视网膜病变的早期症状,那么超过4 亿人可能有失明风险,但很多国家只有极少的眼科专家在进行筛选,而这项技术能帮助确保更多的人得到筛选。在其他医学图像领域我们也在做一些工作,并且在研究机器学习应用于其他更多医学预测任务方面。我们相信机器学习能提升医患医疗体验的质量和效率,2017 年在这个领域我们会有更多的工作进展可以介绍。

音乐和艺术创作

科技往往会帮助人们更好地创作和分享多媒体——比如印刷出版、电影或电声吉他。去年我们启动了一个叫 Magenta 的项目,来挖掘艺术和机器智能间的可能性,以及使用机器学习系统来激发人类创造性的可能性。从音乐和图片生成开始,发展到诸如文本生成和VR 等领域,Magenta 在内容创作模型的生成方面有着最先进的水平。我们帮助组织了一个关于此话题的一日座谈会,并支持了一场机器生成艺术的艺术展。在音乐生成艺术风格转换方面,发掘了大量的话题,我们的jam session 演示赢得了NIPS 2016 的最佳展示奖

AI 安全与公正

开发更加强大和复杂的 AI 系统并应用到现实世界的方方面面时,我们想确保这些系统是很安全和公正的,而且还想构建工具来帮助人类更好地理解它们产生的输出。在 AI 安全领域,由 Stanford、Berkeley 和 OpenAI 参与的跨机构合作中,我们发表了关于AI 安全具体问题的白皮书(参见这里的博客文章)。该论文概述了一些特定问题和领域,相信有一些真正基础的研究会在AI 安全领域得到解决。我们在其中一个安全方面取得了进展,即训练数据中的隐私保护,获得差异化的隐私担保,其中大部分是近期通过知识转移技术获得。除了安全之外,当开始信赖AI 系统来做更复杂和精准的决策时,我们想确认这些决策是公正的。在一篇关于有监督学习中机会均等的论文(参见这里的博客文章)中,我们揭示了如何最优化调整任意训练过的预测器来避免偏见和歧视,文章通过基于FICO 信用分的一个案例研究说明了这一点。为了让这项工作更易理解,我们还创建了一个可视化产品,来辅助说明,并交互式地探索论文中的观点

TensorFlow

2015 年 11 月我们开源了TensorFlow 的初始版本,以便机器学习社区的其他同仁能从中受益,同时大家一起合作共同提升。2016 年TensorFlow成为Github 上最受欢迎的机器学习项目,超过570 名开发者提交了10,000 多条评论。 TensorFlow 的知识库模型受益于社区贡献也获得了成长,目前单单在 Github 上就有超过5000 个TensorFlow 相关的代码仓库。此外,TensorFlow 已被知名研究机构和大型企业包括 DeepMind 广泛采纳和应用,甚至有一些特殊的应用场景,比如在澳新地区搜寻还牛,和在日本分拣黄瓜

我们做了大幅的性能提升,并增加了对分布式训练的支持,还把TensorFlow 带到了 iOS 树莓派(Raspberry Pi) Windows 平台上,甚至集成 TensorFlow 到广泛使用的大数据基础设施中。同时还衍生出了 TensorBoard 项目,这是一个 TensorFlow 的可视化系统,带有一些可视化计算图形嵌入式的改进工具。还让TensorFlow 可以通过 Go 、Rust Haskell 语言来访问,发布了最先进的图像分类模型 Wide 和 Deep 、答复了来自 Github StackOverflow TensorFlow 邮件列表里的数千个问题。 TensorFlow Serving 简化了产品环境中 TensorFlow 模型的服务流程,为了在云端完成这些工作, Google Cloud Machine Learning 也提供了托管的 TensorFlow 服务。

去年 11 月我们庆祝了TensorFlow 开源一周年,并在最早的计算机系统研究会议之一的 OSDI 上,发表了 TensorFlow 的计算机系统全貌的论文。在与 Google 编译器团队同事的合作中,我们致力于 TensorFlow 的一个后端编译器,叫做 XLA ,它的一个 alpha 版本近期已加入了开源发布中

机器学习社区参与

在教育指导如何进行机器学习,以及如何实施该领域的研究方面,我们也在努力。去年1 月份,Vincent Vanhoucke 作为大脑团队的研究带头人之一,与Udacity 合作开发并上线了一门免费的在线深度学习课程博客通知)。我们还整合了 TensorFlow Playground ,一个有趣的交互系统,用来帮助人们更好的理解并可视化地说明,通过神经网络学习来完成任务有多简单。

6 月份我们迎来了第一批共 27 位 Google 大脑居民(Google Brain Residents),从超过 2200 个申请者中选拨出来,他们在7 个月中主导完成了令人瞩目的原创研究,帮助发表了21 篇研究论文。8 月份,很多大脑团队成员参加了Google 大脑团队的Reddit AMA(随意提问),就r/MachineLearning 话题回答了很多关于机器学习和我们团队的社区提问。截止年底,我们在团队中累计接收了46 位实习生(大部分是博士研究生),他们与其他成员一起开展研究工作。

在Google 中传播机器学习

除了上文提到的面向公众活动之外,我们持续在Google 内部通过很多产品团队,来传播机器学习的专业知识和思想,以确保公司作为一个整体,能充分地利用到任何新显现的机器学习研究的优势。举其中一个例子,我们曾与平台团队密切协作,为Google’s Tensor Processing Unit(TPU)提供规格说明和高水准得分,TPU 是一个定制的机器学习加速器ASIC,Google I/O 上曾提到过。这个定制芯片提供一个能极大提升机器学习工作负载的指令,广泛应用于我们的很多产品,包括 RankBrain 、近期上线的神经机器翻译系统,以及去年三月在韩国与李世石比赛的 AlphaGo

总而言之,对于 Google 大脑团队、各个合作方,以及 Google 内外的同仁们,2016 是令人振奋的一年,同时期待 2017 年我们的机器学习研究会有突破性进展!

查看英文原文: https://research.googleblog.com/2017/01/the-google-brain-team-looking-back-on.html


感谢刘志勇对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-02 18:002603

评论

发布
暂无评论
发现更多内容

ARTS打卡计划_第一周

叫不醒装睡的人

ARTS 打卡计划

我的编程之路 -6(新时代)

顿晓

android 编程之路 时代

爬虫框架Scrapy应用实践-淘宝保险频道数据抓取【2】-抓包分析

hadesxiong

Python 爬虫 保险 Scrapy

后疫情时代,区块链的发展迎来曙光!

CECBC

CECBC 区块链技术

区块链技术大显身手,仅用20分钟就打完一场官司!

CECBC

CECBC 区块链技术 数字版权 存证

如何使用 Apache CXF 快速实现一个 WebService

Rayjun

Java WebService CXF

关爱孩子的心理建设

Neco.W

人生 感悟 教育

如何做好Code Review?

架构精进之路

Code Review

ARTS week 3

刘昱

Java日志门面系统

泛泛之辈

Java 日志 slf4j

如何设置线程池参数?美团给出了一个让面试官虎躯一震的回答。

why技术

Java 源码分析 面试 线程池

ARTS-01

NIMO

ARTS 打卡计划 ARTS活动

Flutter开发环境配置

玉龙BB

flutter android vscode

ARTS 打卡 WEEK2

编程之心

ARTS 打卡计划

体验一次简洁的代码

你当像鸟飞往你的山

深入计算机底层,从几本靠谱的书开始

HackMSF

计算机工作原理

ARTS-1

你当像鸟飞往你的山

ARTS 打卡计划

DDD 中的那些模式 — 使用 Specification 管理业务规则

Joshua

设计模式 领域驱动设计 DDD 架构模式

数据产品经理实战-数据门户搭建(上)

第519区

数据中台 开发数据

2万字长文带你细细盘点五种负载均衡策略。

why技术

Java 负载均衡 源码分析 面试 dubbo

Mysql索引不会怎么办?6000字长文教会你

Super~琪琪

MySQL 数据库 sql 索引

MySQL 可重复读,差点就我背上了一个 P0 事故!

楼下小黑哥

Java MySQL

5G时代下应用的安全防御研究

Nick

5G 5G网络安全 5G安全

[ARTS打卡] week 01

Mau

ARTS 打卡计划

像孩子一样认识新事物 —— 读《终身幼儿园》

YoungZY

学习 读书笔记 读书

眼中有码,心中无码

小眼睛聊技术

学习 深度思考 程序员 最佳实践 算法

clang-format 使用与集成介绍

Geek_101627

ARTS打卡第一周

GKNick

那些会阻碍程序员成长的细节[2]

MavenTalker

程序员 程序人生

重学 Java 设计模式:实战单例模式

小傅哥

设计模式 编程思维 重构 优化代码

Apache DolphinScheduler新特性与Roadmap路线

代立冬

大数据 数据中台 工作流调度 海豚调度 数据湖调度

Google大脑团队2016年度回顾_Google_ Jeff Dean_InfoQ精选文章