QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

OpenAI 终于松口,史上最强 NLP 模型 GPT-2 决定部分开源

  • 2019-05-05
  • 本文字数:956 字

    阅读完需:约 3 分钟

OpenAI终于松口,史上最强NLP模型GPT-2决定部分开源

被称为“史上最强NLP模型”的 GPT-2 终于迎来了部分开源。


照例先放上 GitHub 地址:https://github.com/openai/gpt-2


还记得 GPT-2 首次亮相的时候,由于 OpenAI 没有将之开源的计划,很快被技术社区声讨,各种说法铺天盖地,讨论的重心从不开源的决定是否正确,转移到模型本身是否被过誉。


不知道是因为受不了来自技术社区的压力,还是模型已经更加完善了,OpenAI 决定通过分阶段开放以及合作伙伴共享两种方式对 GPT-2 模型进行开源。



在 OpenAI 的官方博客上,也有一段附加的文字对这次的开放进行了解释:


首先,阶段性发布会随着时间的推移逐步发布一系列模型。分阶段发布 GPT-2 的目的是给人们时间来评估这些模型的特性,讨论它们的社会影响,并在每个阶段之后评估发布的影响。


作为分阶段发布策略的下一步,OpenAI 表示将发布 GPT-2 的 345M 参数版本。与 117M 版本相比,该模型的性能有所提高,但在生成连贯文本的便捷性方面,它还不及 1.5B 版本。此外,官方认为 345M 版本的误用风险会高于 117M 的版本,但大大低于 1.5B 版本的误用风险。


在做出 345M 版本发行的决定时,OpenAI 也考虑到了一些其他因素,包括:不同模型大小的易用性(由不同用户使用)、不同大小的模型生成的文本质量、文本生成过程中人类的角色等等,官方也明确表示对其中一些变量仍然不确定,并继续欢迎有关如何制定适当的语言模型发布决策的意见。


而合作伙伴共享的版本也是 OpenAI 多次与外部研究人员、技术公司和决策者进行对话的结果。


OpenAI 目前正在与学术机构、非营利组织和行业实验室建立研究伙伴关系,重点是增强社会对 GPT-2 这类大型语言模型的准备。共享 GPT-2 的 762M 和 1.5B 版本,目的也是促进对该语言模型的输出检测、偏差分析和缓解以及误用潜力分析的研究。除了观察 GPT-2 模型对外界的影响,与利益相关者进行对话,进行内部分析,这些研究伙伴关系将是 OpenAI 对更大模型发布决策的关键。


根据官方博客介绍,这次发布还包括了一个包含所有 4 种模型大小的 GPT-2 输出的数据集,以及用于培训 GPT-2 的 WebText 语料库的子集。输出数据集包含大约 250,000 个模型/超参数对样本,这足以帮助更多的研究人员对上述三个主题进行定量和定性分析。除了这些数据集,OpenAI 还对模型的一些与检测相关的属性进行了基线分析,目的是希望其他人能够在此基础上快速构建模型。


2019-05-05 10:506140
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 286.8 次阅读, 收获喜欢 1303 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试/测试开发丨App自动化—CSS 定位与原生定位

测试人

Python 程序员 软件测试 自动化测试 测试开发

一图看懂华为云CodeArts Inspector 三大特性,带你玩转漏洞管理服务

华为云PaaS服务小智

云计算 软件开发 华为云

慕圣妃轻医美4998系统开发

张泽🐟APP小程序开发定制

低代码开发不可能取代程序员

互联网工科生

低代码

云原生网关可观测性综合实践

阿里巴巴云原生

阿里云 微服务 云原生 监控

软件测试/测试开发丨App自动化测试——显示等待高级使用

测试人

Python 程序员 软件测试 app自动化测试 显式等待

强静态类型,真的无敌

树上有只程序猿

静态 类型

报名开始|聚焦云原生供应链、AI 基础设施!KCD 2023 杭州站等你

OpenAnolis小助手

操作系统 杭州 龙蜥社区 kata KCD

2023云栖大会即将开幕,速来免费预约!

阿里云CloudImagine

云计算 阿里云 云栖大会

作为前端应该了解的后端常识

程序员万金游

Vue js #前端 #HTTP

Apache IoTDB 作为合作伙伴参加 Doris Summit Asia 2023!

Apache IoTDB

WorkPlus私有部署即时通信助力企业信息安全与高效协作

BeeWorks

巧用指标平台DataIndex,五步法轻松实现指标管理

袋鼠云数栈

大数据 数据中台 指标 指标管理 指标建设

认证授权双保驾 身份管理的选择关键 ——华为云OneAccess应用身份管理服务 (第一篇 工具介绍)

华为云PaaS服务小智

云计算 软件开发 华为云 应用身份管理

一图看懂CodeArts Inspector 三大特性,带你玩转漏洞管理服务一图看懂CodeArts Inspector 三大特性,带你玩转漏洞管理服务

华为云开发者联盟

云计算 后端 华为云 漏洞修复 华为云开发者联盟

如何构建安全的App网络通信?

ZA技术社区

数据安全 众安科技 众安保险 ZA技术社区

天谋科技与华为鲲鹏完成兼容性互认证

Apache IoTDB

基于 ACK Fluid 的混合云优化数据访问(三):加速第三方存储的读访问,降本增效并行

阿里巴巴云原生

阿里云 云原生 容器服务

国产化即时通讯平台WorkPlus,助力企业实现自主可控的沟通与协作

BeeWorks

智慧公厕:改善城市生活的小细节

光明源智慧厕所

通过零代码ETLCloud实现数据自动化同步

RestCloud

数据同步 ETL

南扬集团轻医美4998系统开发

张泽🐟APP小程序开发定制

OpenHarmony嵌套类对象属性变化:@Observed装饰器和@ObjectLink装饰器

OpenHarmony开发者

OpenAI终于松口,史上最强NLP模型GPT-2决定部分开源_AI&大模型_陈思_InfoQ精选文章