在 AICon 北京 2019 大会上,杨军讲师做了《PAI-TAO:深度学习编译优化技术的探索和实践》主题演讲,主要内容如下。
演讲简介:
本演讲会分享 PAI 团队在深度学习编译优化技术方向的探索和实践经验,包括优化的整体方法论,具体的设计细节及权衡取舍,工程研发管理、性能评测结果以及具体的业务落地 case 展示。并会结合业界编译优化的技术进展来呈现我们对该领域技术演化的一些思考和认识。
听众受益点:
能够对深度学习编译优化技术方向建立起相对系统完整的普及性认识;
能够了解到一项底层技术从研发到具体落地过程中的经历脉络;
前言亮点:
结合我们所看到的业务特点抽象出来的深度学习编译技术方案具备一定的领域差异化;
在我们的方案里,将深度学习编译优化问题本质上抽象成一个 Design-Space Exploration 的问题,而经典 DSE 作为 NP-hard 问题,往往面临组合爆炸的挑战,我们针对这个挑战,提出了具备一定技术特色的解决方案,并在实际业务里进行了落地验证。
听懂我的演讲,需要具备这些知识储备:
对深度学习建模知识有基本的认识,能够知道什么是 CNN、RNN、Attention,对模型原理有一定的认识;
对深度学习引擎有一定的普及性认识;
最好对于异构计算,比如 GPU 优化,有普及性质的了解。
讲师介绍:
杨军,阿里巴巴资深算法专家。
杨军在阿里巴巴计算平台 PAI 团队担任资深算法专家,目前主要负责模型系统联合优化相关工作,他的优化关注点涉及到集群层面的硬件资源效率以及作业本身的执行性能。他对于结合 AI 模型作业特点分析,从模型系统联合视角进行 co-design 优化的技术方向有着比较浓厚的兴趣。
完整演讲 PPT 下载链接:
https://aicon.infoq.cn/2019/beijing/schedule
评论