写点什么

贾扬清:我对人工智能方向的一点认识

  • 2019-04-23
  • 本文字数:2461 字

    阅读完需:约 8 分钟

贾扬清:我对人工智能方向的一点认识


贾扬清,浙江上虞人,毕业于清华大学自动化系,在加州大学 Berkeley 分校获得计算机博士学位,目前担任阿里计算平台掌门人。


最近几年深度学习的流行,大家一般认为是从 2012 年 AlexNet 在图像识别领域的成功作为一个里程碑。AlexNet 提升了整个业界对机器学习的接受程度:以前很多机器学习算法都处在“差不多能做 demo ”的程度,但是 AlexNet 的效果跨过了很多应用的门槛,造成了应用领域井喷式的兴趣。


当然,任何事情都不是一蹴而就的,在 2012 年以前,很多成功的因素已经开始逐渐显现:2009 年的 ImageNet 数据库奠定了大量标注数据的基础;2010 年开始,IDSIA 的 Dan Ciresan 首次用 GPGPU 进行物体识别;2011 年,北京的 ICDAR 大会上,神经网络在中文离线识别上大放异彩。就算是 AlexNet 中用到的 ReLU 层,早在 2001 年神经科学的文献中就有提及过。所以,一定程度上说,神经网络的成功也是一个水到渠成的过程。2012 年以后的事情,大家可以读到很多,这里就不再赘述。


成功与局限

在看待神经网络成功的同时,我们也要进一步深挖其背后的理论背景和工程背景,为什么神经网络和深度学习在几十年前失败,但是现在却成功了?它成功的原因是什么?而它的局限又在什么地方?我们这里只能片面地说几个重点:


  • 成功的原因,一点是大数据,一点是高性能计算。

  • 局限的原因,一点是结构化的理解,一点是小数据上的有效学习算法。


大量的数据,比如说移动互联网的兴起,以及 AWS 这样低成本获得标注数据的平台,使机器学习算法得以打破数据的限制;由于 GPGPU 等高性能运算的兴起,又使得我们可以在可以控制的时间内(以天为单位甚至更短)进行 exaflop 级别的计算,从而使得训练复杂网络变得可能。要注意的是,高性能计算并不仅限于 GPU ,在 CPU 上的大量向量化计算,分布式计算中的 MPI 抽象,这些都和 60 年代就开始兴起的 HPC 领域的研究成果密不可分。


但是,我们也要看到深度学习的局限性。今天,很多深度学习的算法还是在感知这个层面上形成了突破,可以从语音、图像,这些非结构化的数据中进行识别的工作。在面对更加结构化的问题的时候,简单地套用深度学习算法可能并不能达到很好的效果。有的同学可能会问为什么 AlphaGo 和 Starcraft 这样的算法可以成功, 一方面,深度学习解决了感知的问题,另一方面,我们也要看到还有很多传统的非深度学习算法,比如说 Q-learning 和其他增强学习的算法,一起支撑起了整个系统。而且,在数据量非常小的时候,深度学习的复杂网络往往无法取得很好的效果,但是很多领域,特别是类似医疗这样的领域,数据是非常难获得的,这可能是接下去的一个很有意义的科研方向。


接下去,深度学习或者更广泛地说,AI 这个方向会怎么走?我个人的感觉,虽然大家前几年一直关注 AI 框架,但是近年来框架的同质化说明了它不再是一个需要花大精力解决的问题,TensorFlow 这样的框架在工业界的广泛应用,以及各种框架利用 Python 在建模领域的优秀表现,已经可以帮助我们解决很多以前需要自己编程实现的问题,因此,作为 AI 工程师,我们应该跳出框架的桎梏,往更广泛的领域寻找价值。

挑战

往上走,我们会遇到产品和科研的很多新挑战,比如说:


  • 传统的深度学习应用,比如说语音、图像等等,应该如何输出产品和价值?比如说,计算机视觉现在基本还是停留在安防这个层面上,如何深入到医疗、传统工业,甚至社会关爱(如何帮助盲人看见这个世界?)这些领域,是不仅需要技术,还需要产品的思考的。

  • 除了语音和图像之外,如何解决更多问题。在阿里和很多互联网企业中有一个“沉默的大多数”的应用,就是推荐系统:它常常占据了超过 80%甚至 90%的机器学习算力,如何将深度学习和传统推荐系统进一步整合,如何寻找新的模型,如何对搜索和推荐的效果建模,这些可能没有像语音和图像那么为人所知,却是公司不可缺少的技能。

  • 即使在科研方向,我们的挑战也刚刚开始:Berkeley 的教授 Jitendra Malik 曾经说,“我们以前是手工调算法,现在是手工调网络架构,如果囿于这种模式,那人工智能无法进步”。如何走出手工调参的老路,用智能提升智能,是个非常有意思的问题。最开始的 AutoML 系统依然停留在用大量算力暴力搜索模型结构的层面上,但是现在各种更高效的 AutoML 技术开始产生,这是值得关注的。


机会

往下走,我们会发现传统的系统、体系结构等知识,计算机软件工程的实践,会给 AI 带来很多新的机会,比如说:


  • 传统的 AI 框架都是手写高性能代码,但是模型如此多变,新的硬件平台层出不穷,我们应该如何进一步提升软件效率?我们已经看到有通过编译器技术和传统的人工智能搜索方法来反过来优化 AI 框架,比如 Google 的 XLA 和华盛顿大学的 TVM,这些项目虽然处于早期,但是已经展现出它们的潜力。

  • 平台如何提升整合能力。在开源领域,大家的做法是一个人,一台机器,几个 GPU ,训练比较学院派的模型。但是在大规模应用中,我们的数据量非常大,模型非常复杂,集群还会出现各种调度的挑战(能不能一下子就要求 256 个 GPU ?计算资源是否可以弹性调度?),这些对于我们自己的机器学习平台,以及云上向客户提供的服务,都提出了非常多的挑战。

  • 如何进行软硬件的协同设计。在深度学习的计算模式开始逐渐固化的时候(比如说 CNN ),新硬件和特殊硬件(比如 ASIC )的优势就开始体现出来了。如何实现软硬件的协同设计,防止“硬件出来了,不知道怎么写程序”或者“模型已经变了,硬件一出来就过时了”这样的问题,会是将来几年中很大的方向。


人工智能是一个日新月异的领域,我们有一个笑话说,2012 年的科研成果,现在说起来都已经是上古时代的故事了。快速的迭代带来的大量机遇和挑战是非常令人兴奋的,无论是有经验的研究者还是新学 AI 的工程师,在当今云化,智能化的年代,如果能快速学习并刷新算法和工程的各种挑战,就可以通过算法创新引领并且赋能社会各个领域。这方面,人工智能领域开源开放的各种代码,科研文章和平台给大家创造了比以前更容易的入门门槛,机遇都掌握在我们自己手中。


本文来源:云栖社区合作伙伴“阿里技术”


来源链接:https://yq.aliyun.com/articles/698229


2019-04-23 08:006349

评论

发布
暂无评论
发现更多内容

【linux运维】linux运维会被淘汰吗?会消失在云计算中吗?

行云管家

云计算 IT运维 云运维

虚拟机是什么?跟堡垒机有哪些区别?

行云管家

虚拟机 堡垒机

解读ICDE'22论文:基于鲁棒和可解释自编码器的无监督时间序列离群点检测算法

华为云开发者联盟

数据挖掘 数据库 时间序列 自动编码器

银行应将低代码能力作为在评估厂商综合能力的一个维度

易观分析

低代码 银行

GitHub 3.1K,业界首个流式语音合成系统开源!

百度开发者中心

纪念左晖:敢为天下先(修订版)

IT民工大叔

产业互联网 数字化转型 企业家精神 左晖

快速上手vs2019

Loken

音视频 5月月更

查询语句写了limit 1,为什么依然很慢?

华为云开发者联盟

后端 开发 计算引擎 limit 1

架构的尽头是架构师

IT民工大叔

架构师

SREWorks持续交付云原生化: 镜像构建

阿里云大数据AI技术

大数据 运维 云原生

大数据培训实时数仓实践以及架构的演进

@零度

数仓 大数据开发

影视作品制作中不可或缺的技术支撑——云渲染技术

Finovy Cloud

服务器 云渲染 GPU算力

手把手教你打造一套最牛的知识管理系统

小炮

全自动、可视化开发,成为敏捷转型落地关键词

飞算JavaAI开发助手

CopyOnWriteArrayList 源码分析-其它方法

zarmnosaj

5月月更

如视技术副总裁杨永林:当传统产业遇到“数字空间”

阿里云弹性计算

视觉计算 数字空间 VR看房

java培训SpringBoot 中的各种参数校验

@零度

JAVA开发 springboot

详解GaussDB(DWS)的CPU资源隔离管控能力

华为云开发者联盟

数据库 cpu GaussDB 资源管控

开发技术指南 | 最全 Substrate 与 Polkadot 技术文档、教程、课程

One Block Community

区块链 技术 波卡生态

墨天轮访谈 | 阿里云捷熙:AnalyticDB,人人可用的数据分析服务

墨天轮

数据库 阿里云 国产数据库

技术分享| 快对讲调度系统设计概要

anyRTC开发者

音视频 语音通话 调度 视频通话 快对讲

第一次读 “Clean” 系列,并没有觉得这是一本多好的书

博文视点Broadview

2022年第1季度中国跨境进口零售电商市场规模为983.1亿元

易观分析

跨境电商

浅析数字化转型与产业互联网

IT民工大叔

产业互联网 数字化转型

phpstorm 配置 Xdebug 调试

CRMEB

低代码构建物联网平台,让物联网项目更简单

AIRIOT

物联网 低代码开发

2022云原生安全发展24个洞见

青藤云安全

网络安全 容器安全 镜像安全

LR.Net低代码开发平台 快速设计权限管理模块

力软低代码开发平台

Docker容器:将带UI的程序直接转为Web应用,so easy

华为云开发者联盟

云计算 后端 Docker容器 Web应用

“技术商人”溯源考

IT民工大叔

华为 工程师 任正非讲话 商业意识 复合型人才

OpenYurt v0.7.0 版本解读:无侵入的跨网络域解决方案 Raven

阿里巴巴云原生

阿里云 开源 云原生 边缘计算 openyurt

贾扬清:我对人工智能方向的一点认识_AI&大模型_贾扬清_InfoQ精选文章