华为预训练语言模型技术与行业应用

在 AICon 北京 2019 大会上，魏俊秋讲师做了《华为预训练语言模型技术与行业应用》主题演讲，主要内容如下。

演讲简介：

Google 于 2018 年发布预训练语言模型 BERT ，并在 11 项自然语言处理（NLP）任务上取得最好成绩，OpenAI 也在前后不久的时间发布了 GPT 和 GPT2 ，在自然语言生成任务上带来了惊人表现，自此，预训练语言模型开始得到学术界和工业界的极大关注，被认为是开启了自然语言处理的新篇章。各个公司和高校的研究团队陆续推出了新的预训练语言模型，并不断刷新 NLP 任务上的记录，如近期 CMU 和 Google 推出的 XLnet ，Facebook AI 推出的 RoBERTa ，百度推出的 ERNIE 等。华为诺亚方舟实验室语音语义团队与海思图灵、云 BU 等团队合作，共同研究大规模预训练模型的训练技术，取得三项杰出研究成果，分别对应中文自然理解任务、生成任务以及模型小型化：1. 发布了自己的中文预训练语言模型“哪吒”，在中文自然语言理解任务上达到先进水平；2. 推出基于预训练语言模型的诗歌生成“乐府”，在中文诗歌生成任务上取得惊人表现；3. 预训练语言模型的小型化工作“TinyBERT”，在压缩 BERT 参数 8 倍的前提下，远超 BERT 的表现并且将推断加速 10 倍，此工作受到了 MIT Technology Review 的报道，并且已经成功应用在华为手机及合作运营商的多项业务上。

本次演讲将介绍华为在预训练语言模型的研究和实践的以上三项工作，以及预训练语言模型在华为业务成功落地的应用分享。

内容大纲：

1. 预训练语言模型背景介绍

1.1 模型简介

1.2 发展历程

1.3 最新进展

2. 哪吒模型技术剖析

2.1 技术分享

2.2 效果展示

3. 乐府模型介绍与效果展示

3.1 模型简介

3.2 云端落地案例

3.3 生成效果展示

4. TinyBERT 的技术分享与案例展示

4.1 华为端侧需求分析

4.2 基于知识蒸馏和数据增强的压缩

4.3 落地案例分析

5. 预训练语言模型在华为的落地应用

5.1 用户观点挖掘

5.2 序列化推荐

6. 结论与展望

听众受益点：

1. 对预训练语言模型研究的最新进展有一个概观的认识，学习其中的关键技术

2. 对预训练语言模型在自然语言理解和生成任务上的惊人表现有一个直观的认识

3. 为大规模深度学习模型的研发和落地提供一些案例与经验分享

讲师介绍：

魏俊秋，华为高级技术专家。

魏俊秋博士目前是华为诺亚方舟实验室语音语义组的研究员，博士毕业于香港科技大学计算机系，本科毕业于南京大学。长期从事时空数据分析、主题模型、预训练语言模型的研究，在国际顶级会议和期刊，如：SIGMOD、TKDE、ICDM、TKDD 发表论文数篇，并曾在国际知名会议，如：COLING、BIG DATA、BiGComp、PAKDD 担任程序委员会委员。

完整演讲 PPT 下载链接：

https://aicon.infoq.cn/2019/beijing/schedule