QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591461

评论

发布
暂无评论
发现更多内容

「架构师训练营」第 2 周作业 - 总结

森林

centos7升级内核

唯爱

软件设计原则-第二周总结

孙志平

Centos6 内核升级

唯爱

「架构师训练营」第 2 周作业 - 设计原则

森林

架构师训练营-02作业

ashuai1106

架构师 极客大学架构师训练营 架构设计原则

软件设计原则

superman

架构师训练营第二周作业

东哥

极客大学架构师训练营

设计原则

东哥

极客大学架构师训练营

江帅帅:精通 Spring Boot 系列 03

奈学教育

springboot

程序员买买买,纸书半价,电子书55折,抢券叠加使用更划算

图灵社区

图灵教育 热门活动

江帅帅:精通 Spring Boot 系列 04

奈学教育

Spring Boot

分布式柔性事务的TCC方案

古月木易

分布式

嵌入SpreadJS,赋能计量器具检定信息化

葡萄城技术团队

SpreadJS 计量检定

Monorepo 原来像陈老师这么香!

admin

依赖倒置原则联想

极客大学架构师训练营

第二周课程作业

腾志文(清样)

作业

我写了10年博客,却被人说“不火”?我是这样怼回去的!

王磊

Java 程序人生 「Java 25周年」

架构师训练营 第2周作业

Lingjun

极客大学架构师训练营

软件设计原则 - 第二周作业

孙志平

第二周作业

技术小生

极客大学架构师训练营

程序设计原则

技术小生

极客大学架构师训练营

架构师训练营-第二周命题作业

牛牛

极客大学架构师训练营 命题作业

产品周刊 | 第 19 期(20200614)

八味阁

产品 设计 产品经理 产品开发

第二周作业

戴维斯

架构是训练营

构架师训练营-第二周总结

Dawn

极客大学架构师训练营

江帅帅:精通 Spring Boot 系列 03

古月木易

Spring Boot

在野望中奔跑:镜头前"摆摊"的联想来酷总裁们

Geek_116789

江帅帅:精通 Spring Boot 系列 04

古月木易

Spring Boot

架构师训练营 第 2 周总结

Lingjun

极客大学架构师训练营

分布式柔性事务的TCC方案

奈学教育

分布式

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章