写点什么

快手 AI 引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖

  • 2019-07-22
  • 本文字数:3574 字

    阅读完需:约 12 分钟

快手AI引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖

本文为 Robin.ly 授权转载,文章版权归原作者所有,转载请联系原作者。


本期Robin.ly CVPR 2019 专题访谈特邀国民短视频平台“快手”的西雅图 AI 实验室和 FeDA 智能决策实验室主任、美国罗彻斯特大学助理教授刘霁博士,在美国长滩 CVPR 大会现场分享他在深度学习领域的研究成果、以及带领快手研发团队推动 AI 技术商业化的实践经历。


刘霁博士的研究领域包括机器学习、优化和强化学习,以及各类数据驱动的应用场景。他对利用技术解决图像分析、游戏人工智能设计、视觉理解等方面的实际问题也很感兴趣。他提出的异步并行算法(Asynchronous Parallel Algorithm)已应用于许多机器学习平台,如 Google TensorFlow。2018 年,他当选 MIT Technology Review 评选的“35 位 35 岁以下创新青年”。


下文为 Robin.ly 主持人 Margaret Laffan 与刘霁博士的访谈实录。

投身深度学习 开发前沿算法

主持人:我知道你是机器学习、优化和强化学习方面的专家。你当初为什么选择机器学习领域,特别是一开始就选择了深度学习优化相关的研究?


刘霁:


机器学习研究的是一种方法论,研究如何解决通用性的数据驱动问题,可以为多种应用问题提供实践工具和方法支持,如计算机视觉、自然语言处理、语音等等。我觉得掌握这些通用的工具和方法论,将来可以做的事情更多,视野可以更大,所以选择了机器学习作为研究方向。


这也是我当初选择深度学习优化这个切入点的原因。希望能参与解决当前最核心同时又相当有挑战的问题。众所周知,深度学习是一项非常强大的技术,目前也非常受欢迎。每天有相当多的研究者在不断的运行深度学习模型。如果我们加快这个过程到原来的十分之一,那么每个人都可以在这项工作中节省 90%的时间。所以深度学习优化是一项基础能力,决定了一个公司 AI 落地以及从算法模型到产品迭代效率。


主持人:我知道你在异步并行算法创新上取得了很多成绩,你开发的技术已经被 TensorFlow 和 PyTorch 采用。作为 MIT 评选的中国 35 岁以下的创新者之一,你创建了异步去中心并行随机梯度下降算法(asynchronous decentralized parallel stochastic gradient descent algorithm, AD-PSGD)。能介绍一下这个算法对研究开发领域的贡献吗?


刘霁:


我首先想讲一点,优化算法设计研究者和算法实现工程师之间确实存在很大的信息不对等。优化人员理解算法,但他们所了解的关于硬件部署的知识相对有限,因此当他们设计算法时,从实现角度考虑得相对较少,往往只是从收敛性和计算复杂度来指导算法设计。但对于部署工程师,他们需要把算法实现到 CPU、GPU 甚至 FPGA 等硬件上,但是在算法方面的知识却可能有限。所以这中间有一个真空地带。我的工作就是努力填补这一空白,进行联合优化,优化算法和硬件、优化性能、优化训练流程。这就是这项工作的目的和主要贡献。


我们在异步和去中心化方面都做的一些先驱性的工作其实就是看到这个真空。希望把真正运行效率当作标准来指导算法设计。异步并行方法能够解决传统同步并行算法中的瓶颈问题,也就是快机需要等待慢机。异步并行方法相比同步的方法有时候要快上一倍以上。另外,我们提出的去中心化并行框架相比于传统中心化的方法,可通过避免额外的计算量来有效缓解信息交通拥堵的情况。异步和去中心化都是加速深度学习训练过程的重要工具,这两种新技术打破了传统的做法,可以让机器学习算法更准确和高效,同时显着降低了同步的成本。目前,这两项技术已逐渐开始广泛应用于主流工具,比如 TensorFlow 和 PyTorch。我们相信这一进步可以填补优化算法和算法实现的间的真空地带,会对整个行业带来更多的推进和收益。



中心化和去中心化图示,图片来源:论文《Asynchronous Decentralized Parallel Stochastic Gradient Descent》

学术界和工业界相辅相成

主持人:你已经担任了五年的助理教授,同时也是公司的研究科学家。你为什么会选择同时跨越学术界和工业界?


刘霁:


很有意思的问题。实际上,很多人都问过我类似的问题。我认为这两个领域的经验对我的职业生涯都非常重要。在学术界,通常是深入地研究一个艰深的学术问题,考验的是在一个点上突破的能力;而在工业界,需要完整的解决一个实际问题,考验的更多是全面的能力和综合素质。这是两种完全不同的体验,对我的成长都具有非凡的意义。


另外值得指出一点就是,学术界通常关心解决一类问题,所以研究的问题讲求通用性和一般性。但是有时候容易脱离实际,学术界解决的问题有时候在工业界看来并不是真正的痛点。而工业界的问题在于过分关注于个体的问题,不重视把具体问题抽象成有价值的研究问题。所以容易出现重复造轮子的现象。


所以学界和业界是两个不同的群体,但他们可以相辅相成。从学术角度来看,我们可以将这个特定问题扩展成一个抽象问题,而这个抽象问题在某些意义上已经在学术界得到了很好的研究,我们可以应用现有技术或开发新技术来解决该问题。与此同时,我们可以帮助业界人士了解工业问题背后的数学基础和原理。但这并不意味着我们从学界学到的技能毫无用处。相反,这些技能有可能发挥非常重要的作用,但这取决于我们如何使用这些技能。我的目标就是尽力让学术界和工业界之间形成一个良好的过渡地带。

AI 技术的商业化实践


刘霁在 CVPR2019“快手”展示区讲解,图片来源:快手


主持人:我们来谈谈快手。你在 2018 年底加入快手,在接下来的三到五年里,你和公司都有什么样的计划?


刘霁:


设立快手西雅图 lab 的初衷是帮助解决公司业务中最重要的、有挑战的问题,同时为公司打造和沉淀核心的 AI 基础能力,比如像机器学习平台、小样本学习等等。同时有机会也希望开创一些新的业务增长。快手有良好的用户生态。现在的产品种类还不是很丰富,我们的工作重心相对还比较集中。未来三到五年,相信我们的产品矩阵会越来越丰富,每个人都有更大的发挥空间。


从个人的角度来讲,我自己有一套解决问题的方法论。我希望能在接下来的时间里实践和完善我的方法论。更明确一点讲,我是一个以问题为导向,以产品为导向的人。我很了解人工智能技术,但我还不够了解用户,如何合理得定义产品。为了在人工智能技术落地,我想先了解我们的用户,从而设计出最好的产品。我们可以通过设计算法,开发新技术,定义新的概念和流程来达到这个目的。


主持人:你目前在西雅图担任人工智能实验室和 FeDA(智能决策)实验室的主任。能给我们介绍一下 FeDA 实验室的使命和研究重点吗?


刘霁:


正如我前面提到的,设立快手 FeDA 联合实验室的目的是帮助解决商业化中最重要的、有挑战的的技术问题,例如 AI 对商业化赋能。商业化是公司去年启动的的一个重大项目,主要是研究如何向用户推荐视频广告,合理地发掘商业价值,最大化用户的体验。我们在快手有两组用户,一组会分享视频,另一组只观看视频,但是这两组人之间存在很大的重叠。公司的原则是同时为这两类人服务。但我们都知道,广告有时可能会损害用户的体验,那么挑战就在于如何最大限度的减少对用户的负面影响,最大化他们的正面体验。所以我们就需要开发更好的算法来进行个性化推荐。这部分也与计算机视觉领域研发人员密切相关。因为在快手,所有广告都是基于视频的。在传统的推荐问题中,需要处理的内容通常是文本或者图片,但是基于视频的新形式需要新技术,需要聘用新员工,这也是我参加各大计算机视觉会议的原因。



用户在 CVPR2019 现场体验,图片来源:快手


主持人:你谈到了用户体验和用户价值的。我们知道这对于产品创新非常重要。你能从快手的角度介绍一下这一点在产品开发的过程中是如何体现的吗?


刘霁:


快手确实非常关心用户体验。我理解公司将用户体验放在第一位,而商业化是第二位的。从我们的首席执行官和首席技术官到整个公司的每一名员工都达成了这样的共识。因此,无论我们做任何事情,都需要去了解用户体验方面的情况。这是一个复杂的数据分析任务,需要人工智能才能理解。人类是一个非常复杂的系统,使用纯粹或单一理论来解释人类的思维和感受是非常困难的,即便是心理学也不见总能得出正确的结论。我们必须结合不同领域的专业知识来了解我们的用户,这就是为什么我们最近在快手成立了一个新的团队专门进行统计分析。该团队的一个重要目标就是尝试了解人类行为以及对我们的产品是否满意。


主持人:在这个新的岗位上,你是如何管理团队的?你的领导风格是什么?


刘霁:


我认为我的领导风格是动态的,需要适应团队的需要。在某个阶段,比如现在,我的管理风格会更加中心化,因为公司正在成长,我们希望加快增长的速度,所以更需要中心化的管理方式。但我理想的管理方案是去中心化的。就好比教练和球员,球员除了需要与教练沟通,他们之间更需要直接的沟通和协同,才能更高效的发挥团队的力量。


主持人:说得太好了。我们期待你们能一步步实现最终的目标。再次感谢你!


原文链接:


https://www.robinly.info/post/cvpr-2019-ai-talk-prof-ji-liu-director-kuaishou-seattle-ai-lab-feda-lab


2019-07-22 08:005816
用户头像
Robin.ly 硅谷AI科技、创业、领导力访谈

发布了 49 篇内容, 共 18.9 次阅读, 收获喜欢 59 次。

关注

评论

发布
暂无评论
发现更多内容

图片风格迁移:基于实例缓解细节丢失、人脸风格化失败问题

华为云开发者联盟

神经网络 风格 实例 风格迁移 图像翻译

五分钟搞懂MySQL主从复制原理,附带学习经验

JVM调优资料

Java 程序员 后端

MediaMuxer实用封装

Changing Lin

8月日更

Redis挂了,流量把数据库也打挂了,怎么办?

why技术

Java 面试

SpringBoot使用Junit5

Rubble

springboot JUnit 8月日更

极光开发者周刊【No.0730】

极光JIGUANG

为什么大公司一定要使用微服务?神操作!

JVM调优资料

Java 程序员 后端

五年Java开发者小米、阿里面经,附相关架构及资料

JVM调优资料

Java 程序员 后端

CIS Kubernetes 基线测试

greatersecurity

是谁,在暗中观察

skow

Java 后端 Java设计模式 8月日更

【共识专栏】共识的分类(下)

趣链科技

区块链 共识机制 共识算法 共识分类

MySQL不能没有字符串函数,就像西方不能失去耶路撒冷

北游学Java

Java MySQL 数据库

五面阿里拿下飞猪事业部offer,帮你突破瓶颈

JVM调优资料

Java 程序员 后端

京东面试真题解析,帮你解决95%以上的问题!

JVM调优资料

Java 程序员 后端

中国首位 K8s ingress-nginx reviewer 同时提名成为 Apache APISIX committer

API7.ai 技术团队

开源 Kubernetes 采访 APISIX

MySQL触发器介绍

Simon

MySQL

Hudi自带工具DeltaStreamer的实时入湖最佳实践

华为云开发者联盟

大数据 Hudi

【Vue2.x 源码学习】第二十三篇 - 依赖收集 - 视图更新部分

Brave

源码 vue2 8月日更

为什么@Value可以获取配置中心的值?年薪超过80万!

JVM调优资料

Java 程序员 后端

Apache ShardingSphere 元数据加载剖析

SphereEx

数据库 开源

如何使用 DDD 指导微服务拆分?

架构精进之路

微服务 DDD 8月日更

硬核万字长文,深入理解 Java 字节码指令(建议收藏)

沉默王二

Java

【Jackson技术专题】全方位系统化学习和使用指南

洛神灬殇

Jackson JSON库 JSON序列化 8月日更

三面拼多多,一篇文章帮你解答

JVM调优资料

Java 程序员 后端

Java线程安全-JVM角度解析

程序员阿杜

Java JVM 多线程 并发 8月日更

Ubuntu 与 Mac 共享文件

TroyLiu

ubuntu 效率 Mac 文件传输 共享文件

synchronized 加锁 this 和 class 的区别!

王磊

Java 并发 8月日更

为什么spring能最好地改变Java?成功跳槽阿里!

JVM调优资料

Java 程序员 后端

肝到头秃!阿里爆款的顶配版Spring Security笔记

Java spring 程序员 架构 计算机

中高级Java大厂高频面试题,已开源下载

JVM调优资料

Java 程序员 后端

中高级Java面试中你不得不会的知识点,附详细答案

JVM调优资料

Java 程序员 后端

快手AI引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖_AI&大模型_Robin.ly_InfoQ精选文章