快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

比 BERT 提升近 10 个点!百度预训练模型 ERNIE 登顶 GLUE 榜单

  • 2019-12-11
  • 本文字数:1079 字

    阅读完需:约 4 分钟

比BERT提升近10个点!百度预训练模型ERNIE登顶GLUE榜单

北京时间 12 月 10 日,百度预训练模型界 ERNIE 在自然语言处理领域权威数据集 GLUE 中登上榜首,并以 9 个任务平均得分首次突破 90 大关刷新该榜单历史,其超越微软 MTDNN-SMART, 谷歌 T5、ALBERT 等一众国际顶级预训练模型的表现。



众所周知,通用语言理解评估基准 GLUE 是自然语言处理领域最权威的排行榜之一,由纽约大学、华盛顿大学、谷歌 DeepMind 等机构联合推出,以其涵盖大量不同类型的 NLP 任务,包括自然语言推断、语义相似度、问答匹配、情感分析等 9 大任务,成为衡量自然语言处理研究进展的行业标准。因此,吸引了谷歌、Facebook、微软等国际顶尖公司以及斯坦福大学、卡耐基·梅隆大学等顶尖大学参加。GLUE 排行榜的效果,在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。此次能够超越国际顶尖公司及高校荣登榜首,背后是百度 NLP 技术的长足积累。


2018 年底以来,以 BERT 为代表的预训练模型大幅提升了自然语言处理任务的基准效果,取得了显著技术突破,基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众 AI 公司纷纷发力预训练领域,相继发布了 XLNet、RoBERTa、ALBERT、T5 等预训练模型。百度也先后发布了 ERNIE 1.0、ERNIE 2.0,在 16 个中英数据集上取得了当时的 SOTA。


从 GLUE 排行榜上来看,BERT 使用预训练加微调的方式,相对过往的基线成绩大幅提升各任务的效果,首次突破了 80 大关。XLNet、RoBERTa、T5、MT-DNN-SMART 等模型则分布在 88-89 分范围,人类水平则是 87.1。


百度 ERNIE 此次登顶,成为首个突破 90 大关的模型,并在 CoLA、SST-2、QQP、WNLI 等数据集上达到 SOTA。相对 BERT 的 80.5 的成绩,提升近 10 个点,取得了显著的效果突破。



百度 ERNIE 2.0 原理示意图


ERNIE 2.0 持续学习的语义理解框架, 支持增量引入不同角度的自定义预训练任务,通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。


此次登顶的模型主要基于 ERNIE 2.0 持续学习语义理解框架下的系列优化。引入更多新预训练任务, 例如引入基于互信息的动态边界掩码算法。对预训练数据和模型结构也做了精细化调整。


同时,百度 ERNIE 2.0 的论文(https://arxiv.org/abs/1907.12412)已被国际人工智能顶级学术会议 AAAI-2020 收录,AAAI-2020 将于 2020 年 2 月 7 日-12 日在美国纽约举行, 届时百度的技术团队将会进一步展示近期的技术成果。


据悉,百度 ERNIE 预训练技术已广泛地应用于公司内外多个产品和技术场景,其在百度搜索、小度音箱、信息流推荐等一系列产品应用中提升技术效果和用户体验的同时也在逐步赋能各行各业。


2019-12-11 15:242196
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 527.3 次阅读, 收获喜欢 1974 次。

关注

评论

发布
暂无评论
发现更多内容

Android MaterialButton使用详解,告别shape、selector

yechaoa

android 6月月更 material design MaterialButton

什么是数据驱动

奔向架构师

大数据 数据仓库 数据驱动 6月月更

spring4.1.8扩展实战之一:自定义环境变量验证

程序员欣宸

Java spring Spring Framework 6月月更

【sql语句基础】——查(select)(单表查询)

写代码两年半

sql MySQL 数据库 数据库· 6月月更

模块八作业

天琪实刚亮

架构训练营

接口测试工具apipost3.0版本对于流程测试和引用参数变量

Xd

Java 后端 apipost 接口测试工具

1.5 什么是架构师(连载)

凌晞

架构 架构师

居家办公期间如何提升沟通效率|社区征文

北洋

初夏征文

vue中mixins的使用方法和注意点

源字节1号

软件开发 前端开发

selenium操作元素遇到的异常

红毛丹

selenium 6月月更

数据库每日一题---第10天:组合两个表

知心宝贝

前端 后端 6月月更

【Python技能树共建】文件模块

梦想橡皮擦

Python 6月月更

深圳3月14日起全市停工停业7天居家办公心得|社区征文

老周聊架构

后疫情时代企业应对策略 6月月更 初夏征文 高效工具 高效沟通

【LeetCode】查找和替换模式Java题解

Albert

LeetCode 6月月更

企业架构的第一性原理

涛哥 数字产品和业务架构

企业架构

逐向双碳:东数西算中的绿色需求与竞争焦点

脑极体

消息队列存储消息数据的 MySQL 表格

流火

vue计算属性

小恺

6月月更

搭建前端监控,如何采集异常数据?

杨成功

架构 大前端 监控系统

Java—流 Stream

武师叔

6月月更

合理地配置线程池

急需上岸的小谢

6月月更

测试基础之:单元测试

甜甜的白桃

单元测试 测试用例 6月月更

NixOS 22.05安装过程记录

sai

NixOS Nix

模块八

ASCE

动态规划之如何将问题抽象转化为0-1背包问题(详解利用动态规划求方案数)

未见花闻

6月月更

设计消息队列存储消息数据的 MySQL 表格

大眼喵

「架构实战营」

SDN系统方法 | 6. 网络操作系统

俞凡

架构 网络 sdn SDN系统方法

从源码解析 MobX 响应式刷新机制

岛上码农

flutter ios 前端 安卓 6月月更

Teambition 协作应用心得分享|社区征文

北洋

初夏征文

模块八:设计消息队列存储消息数据的MySQL表

jiaoxn

「架构实战营」

前端食堂技术周刊第 40 期:HTTP/3、WebContainers 登陆 Firefox、Remix Conf 2022、VueConf US 2022

童欧巴

Vue 前端

比BERT提升近10个点!百度预训练模型ERNIE登顶GLUE榜单_AI&大模型_高高_InfoQ精选文章