写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591472

评论

发布
暂无评论
发现更多内容

直呼内行!阿里大佬离职带出内网专属“Spring Security Oauth2.0”学习笔记

Java 程序员 架构 面试 微服务

Zilliz 陈室余:女性的独特洞察,可能为开源发现新机遇 | ECUG Meetup 讲师专访

七牛云

数据库 开源 音视频 Meetup Milvus

618技术特辑(三)直播带货王,“OMG买它”的背后,为什么是一连串技术挑战?

华为云开发者联盟

CDN 直播 618 低时延 视频直播

Python——嵌套

在即

6月日更

JAVA语言基础(五)--数组

加百利

Java 后端 6月日更

Java性能问题定位命令

hasWhere

Windows Core Audio 音频开发技术指南

拍乐云Pano

Cilium 首次集成国内云服务,阿里云 ENI 被纳入新版本特性

阿里巴巴云原生

容器 云原生

cpu突然变高定位步骤

hasWhere

性能排查常用Linux命令

hasWhere

开发效率提升50%以上,爱奇艺官网主站的Nuxt实践

爱奇艺技术产品团队

大前端 开发 nuxt

恭喜埃文科技入选“创新能力百强企业”!

郑州埃文科技

一文读懂云原生 go-zero 微服务框架

晨雨听风

GitHub Web Go 语言

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

Apache Flink

flink

超全Redis命令总结,墙裂建议收藏,说不定就用上了呢

北游学Java

Java redis

Java版本发布历史

hasWhere

干货|车来了APM应用性能体验实践

APM App 稳定性 APP稳定性

实测 Google 全同态加密FHE,效果如何?

瑚琏

机器学习 隐私计算 多方安全计算 富数科技 Avatar2.0

区块链赋能农业振兴,农产品溯源系统

13530558032

区块链电子合同技术方案,区块链电子合同平台

13530558032

中国信通院云大所与dbaplus社群开启战略合作,共同推动多项标准落地

dbaplus社群

AI 转型必看|算法工程师的 AI 启示录

百度大脑

人工智能

华云大咖说 | 华云数据与福昕鲲鹏携手共建国产云生态

华云数据

技术干货 | Windows桌面端录屏采集实现教程

ZEGO即构

RTC 录屏采集

IDEA搭建DCM4CHEE开发环境

birdbro

intellij-idea 医学影像 DICOM PACS DCM4CHE

「区块链+游戏」背后能否诞生下一个腾讯?

CECBC

Flink State 和 Fault Tolerance(二)

Alex🐒

flink 翻译 flink1.13

618技术特辑(四)疯狂剁手的同时,电商隐私安全你注意到了吗?

华为云开发者联盟

电商 数据安全 云安全 618 隐私安全

架构训练营模块 6 作业 - 江哲

江哲

RDMA打造存储利器

焱融科技

文件 高性能 数据中心 分布式存储

阿里首次公布 Java10W 字面试复盘笔记,面面俱到、太全了

Java 程序员 架构 面试

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章