产品战略专家梁宁确认出席AICon北京站,分享AI时代下的商业逻辑与产品需求 了解详情
写点什么

OpenAI 终于松口,史上最强 NLP 模型 GPT-2 决定部分开源

  • 2019-05-05
  • 本文字数:956 字

    阅读完需:约 3 分钟

OpenAI终于松口,史上最强NLP模型GPT-2决定部分开源

被称为“史上最强NLP模型”的 GPT-2 终于迎来了部分开源。


照例先放上 GitHub 地址:https://github.com/openai/gpt-2


还记得 GPT-2 首次亮相的时候,由于 OpenAI 没有将之开源的计划,很快被技术社区声讨,各种说法铺天盖地,讨论的重心从不开源的决定是否正确,转移到模型本身是否被过誉。


不知道是因为受不了来自技术社区的压力,还是模型已经更加完善了,OpenAI 决定通过分阶段开放以及合作伙伴共享两种方式对 GPT-2 模型进行开源。



在 OpenAI 的官方博客上,也有一段附加的文字对这次的开放进行了解释:


首先,阶段性发布会随着时间的推移逐步发布一系列模型。分阶段发布 GPT-2 的目的是给人们时间来评估这些模型的特性,讨论它们的社会影响,并在每个阶段之后评估发布的影响。


作为分阶段发布策略的下一步,OpenAI 表示将发布 GPT-2 的 345M 参数版本。与 117M 版本相比,该模型的性能有所提高,但在生成连贯文本的便捷性方面,它还不及 1.5B 版本。此外,官方认为 345M 版本的误用风险会高于 117M 的版本,但大大低于 1.5B 版本的误用风险。


在做出 345M 版本发行的决定时,OpenAI 也考虑到了一些其他因素,包括:不同模型大小的易用性(由不同用户使用)、不同大小的模型生成的文本质量、文本生成过程中人类的角色等等,官方也明确表示对其中一些变量仍然不确定,并继续欢迎有关如何制定适当的语言模型发布决策的意见。


而合作伙伴共享的版本也是 OpenAI 多次与外部研究人员、技术公司和决策者进行对话的结果。


OpenAI 目前正在与学术机构、非营利组织和行业实验室建立研究伙伴关系,重点是增强社会对 GPT-2 这类大型语言模型的准备。共享 GPT-2 的 762M 和 1.5B 版本,目的也是促进对该语言模型的输出检测、偏差分析和缓解以及误用潜力分析的研究。除了观察 GPT-2 模型对外界的影响,与利益相关者进行对话,进行内部分析,这些研究伙伴关系将是 OpenAI 对更大模型发布决策的关键。


根据官方博客介绍,这次发布还包括了一个包含所有 4 种模型大小的 GPT-2 输出的数据集,以及用于培训 GPT-2 的 WebText 语料库的子集。输出数据集包含大约 250,000 个模型/超参数对样本,这足以帮助更多的研究人员对上述三个主题进行定量和定性分析。除了这些数据集,OpenAI 还对模型的一些与检测相关的属性进行了基线分析,目的是希望其他人能够在此基础上快速构建模型。


2019-05-05 10:505974
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 277.6 次阅读, 收获喜欢 1301 次。

关注

评论

发布
暂无评论
发现更多内容

Android架构组件—ViewModel原理,flutter瀑布流布局插件

android 程序员 移动开发

Android春招面经分享:一个Android渣渣终于拿到了一个offer

android 程序员 移动开发

Android春招面经:二本渣院面试网易被拒,最终终于拿到腾讯

android 程序员 移动开发

Android猿面试(附视频),flutter下拉选择

android 程序员 移动开发

Android技能树 — Fragment总体小结,kotlin安卓开发教程视频

android 程序员 移动开发

Android技能树 — 树基础知识小结(一)(1),Android入门

android 程序员 移动开发

Android最强进程保活黑科技实现原理解密及方法,我的头条面试经历分享

android 程序员 移动开发

Android研发大厂面试记:阿里,字节,安卓内存监控悬浮窗

android 程序员 移动开发

Android快速开发整理(库、插件,40道安卓面试

android 程序员 移动开发

Android性能优化三:APP启动时间测量,android开发强化实战

android 程序员 移动开发

Android技能树 — Activity小结,idea开发android

android 程序员 移动开发

Android插件化-Activity篇,安卓开发面试问题

android 程序员 移动开发

Android性能优化:这些绘制优化你一定不能忽略!,【微信小程序】

android 程序员 移动开发

Android技能树 — 树基础知识小结(一),阿里P7大牛整理

android 程序员 移动开发

Android指纹识别API讲解,一种更快更好的用户体验,送给正在迷茫的你

android 程序员 移动开发

Android数据库的使用(增删改查),那些年我们一起踩过算法与数据结构的坑

android 程序员 移动开发

Android知识图谱:我们到底需要学习哪些Android知识?,android开发平台的框架原理

android 程序员 移动开发

Android性能优化 _ 大图做帧动画卡?优化帧动画之 SurfaceView滑动窗口式帧复用

android 程序员 移动开发

Android性能优化:看完这篇文章,至少解决 APP 中 90 % 的内存异常问题

android 程序员 移动开发

王者荣耀商城异地多活架构设计

毛先生

Android生命周期组件Lifecycle使用详解,android音视频开发方向

android 程序员 移动开发

Android程序员经常遇到的算法问题,七大常用的算法,小白看完都会了

android 程序员 移动开发

Android悬浮窗的简单实现,音视频二次开发

android 程序员 移动开发

Android混合编程:WebView实践,全世界都在问Android开发凉了吗

android 程序员 移动开发

Android程序员面试字节跳动,准备好这些算法面试题准过!

android 程序员 移动开发

Android程序员:“作为字节跳动面试官,androidapp开发工具

android 程序员 移动开发

Android性能优化:这些绘制优化你一点要重视!,android开发语言kotlin

android 程序员 移动开发

Android毕业生,月薪都在10~15k左右,【Android面试题】

android 程序员 移动开发

Android架构设计:手把手教你撸一个简洁而强大的MVP框架!

android 程序员 移动开发

Android开源的精美日历控件,热插拔设计的万能自定义UI

android 程序员 移动开发

Android技术栈(一)从Activity迁移到Fragment,零基础也能看得懂

android 程序员 移动开发

OpenAI终于松口,史上最强NLP模型GPT-2决定部分开源_AI&大模型_陈思_InfoQ精选文章