写点什么

对话 OpenAI Greg Brockman:GPT-4 并不完美,但人类也一样

  • 2023-03-23
    北京
  • 本文字数:2781 字

    阅读完需:约 9 分钟

对话OpenAI Greg Brockman:GPT-4并不完美,但人类也一样

OpenAI日前发布了备受期待的文本生成 AI 模型 GPT-4。在举世轰动之余,人们也实在好奇这样的辉煌成就究竟是如何被创造出来的。

 

GPT-4 在多个关键层面对上代 GPT-3 实现了超越,包括提供更符合事实的陈述,也允许开发人员轻松设定风格和行为。它还具备多模态支持能力,可以理解图像,甚至根据照片内容添加标题和做出解读。

 

GPT-4也有不少严重缺陷。与 GPT-3 一样,该模型仍存在“幻觉”和基础性的推理错误。OpenAI 自己发布博文称,GPT-4 将猫王称为“演员的儿子”(他的父母并非演员)。

 

为了更好地了解 GPT-4 的开发周期、现有功能和局限性,我们有幸与 OpenAI 联合创始人兼总裁 Greg Brockman 进行了交谈。

 

在被问及 GPT-4 和GPT-3的区别时,Brockman 只说了一个词:不一样。

 

“二者确实不一样。GPT-4 模型仍然存在很多问题和错误……但也可以看到,它对微积分和法律内容的理解实现了飞跃。尽管在某些领域的表现还是不行,但在其他方面就算用衡量人类的标准看也是相当出色。”

 

测试结果也证实了他的说法。在美国大学理事会的 AP 微积分 BC 考试中,GPT-4 获得了 4 分(满分 5 分),GPT-3 则仅获得 1 分。(作为 GPT-3 与 GPT-4 之间的过渡版本,GPT-3.5 同样拿到 4 分。)而在模拟律师考试中,GPT-4 的排名在人类考生中挤入前 10%,GPT-3.5 的分数则在倒数 10%左右。

 

此外,GPT-4还表现出了有趣的多模态支持能力。与只能接受文本提示的 GPT-3 和 GPT-3.5(例如「写一篇关于长颈鹿的文章」)不同,GPT-4 能够通过图像和文本提示来执行某些操作。(例如提交一张长颈鹿的实拍照片,问「图中有多少只长颈鹿?」)

 

这是因为 GPT-4 接受了图像和文本数据的双料训练,而前面几个版本只接受过文本训练。OpenAI 表示,训练数据来自“各种许可、创建且公开可用的数据源,其中可能包括公开可用的个人信息”。但 Brockman 拒绝回答更多具体细节(OpenAI 之前曾经因训练数据的归属问题陷入法律纠纷)。

 

GPT-4 也确实表现出令人印象深刻的图像理解能力。例如,输入提示“这张图片的笑点在哪里?”,再配上一张 VGA 线接 iPhone 的照片,GPT-4 就正确理解了个中内容并详细做出解释(「图像中的笑点,来自错误将陈旧的大 VGA 端口接入小型现代智能手机的充电口」)。

 

目前只有一家合作伙伴获准使用 GPT-4 的图像分析功能,这就是名为 Be My Eyes 的视障人士辅助应用。Brockman 表示,OpenAI 正在评估功能开放的风险和收益,而且后续推广一定会采取“缓慢且谨慎的方式”。

 

“我们需要想办法解决人脸识别和人物肖像等政策性问题。我们得摸清危险区在哪里、红线在哪里,然后随时间推移逐步找到正确的处理方式。”

 

OpenAI 的文本到图像系统DALL-E 2 也遭遇过类似的道德困境。OpenAI 最初允许客户上传人脸,使用 AI 图像生成系统进行画面编辑,但在激起反对后紧急叫停。后来 OpenAI 宣称安全系统已经升级,能够“最大限度降低 deepfakes、色情、政治和暴力内容造成的潜在危害”,并将人脸编辑功能重新开放。

 

另一大隐患在于 GPT-4 可能被用于造成意外危害,包括利用目标心理、实施金钱欺诈等。模型发布数小时之后,以色列网络安全初创公司 Adversa AI 就发布博文,表示已成功绕过 OpenAI 的内容过滤器,甚至公开了让 GPT-4 生成网络钓鱼邮件、对同性恋者的攻击性描述及其他有毒文本的办法。

 

这在语言模型领域算是个老大难问题了。Meta公司的 BlenderBot 和 OpenAI 的ChatGPT都曾在用户的“诱导”下生成了极具冒犯性的内容,甚至透露了系统内部运作的敏感细节。但人们仍然对 AI 大模型的表现振奋不已,也期待 GPT-4 能在自我审查和节制方面实现重大改进。

 

在被问及 GPT-4 的稳健性时,Brockman 强调该模型已经接受了六个月的安全训练。而且在内部测试中,它对 OpenAI 禁止内容做出响应的几率较 GPT-3.5 降低了 82%,生成“符合事实”响应的几率则提高了 40%。

 

“我们花了很多时间来摸索 GPT-4 的能力,摸索的方式就是把它对外公布。我们不断做更新,包括一系列改进,希望模型能真正匹配使用者想要的个性或模式。”

 

但必须承认,早期实际测试的结果并不理想。除了 Adversa AI 测试之外,基于 GPT-4 的微软聊天机器人 Bing Chat 也被证明极易被“攻破”。利用精心设计的输入,用户已经能让机器人表达爱意、威胁伤害、支持大屠杀和编造阴谋论。

 

Brockman 并不否认 GPT-4 的种种不足。但他也强调了该模型所使用的新型操控缓解工具,包括 API 级的“系统”消息功能。系统消息的本质是一种指令,负责为 GPT-4 的交互行为设定基调和边界。例如,系统消息可以这样编写,“你是一位苏格拉底式的思辨型导师,你永远不会直接给学生答案,而是通过一个个正确的问题帮助他们学会独立思考。”

 

OpenAI希望把系统消息当作护栏,防止 GPT-4 偏离既定“轨道”。

 

“我们一直在努力理解 GPT-4 的基调、风格和实质从何而来。我觉得现在我们已经在工程层面找到些思路了,包括如何实现可重现的过程,生成对人们真正有用的可预测结果。”

 

Brockman 还谈到了 Evals,这是 OpenAI 用于评估其 AI 模型性能的全新开源软件框架。OpenAI 希望借此保证自家模型的“稳健性”。Evals 允许用户开发和运行基准测试,以此评估 GPT-4 等模型的性能,这意味着大语言模型将步入众包测试的新时代。

 

“借助 Evals,我们能够以系统化的方式掌握用户最关心的用例,并据此开展测试。之所以决定开源,也是考虑到我们后续不会再隔三个月才发布新模型,而是转向持续改进的方式。如果无法衡量,自然也就无法实现了,对吧?在为模型开发新版本时,我们至少可以借此了解哪些地方发生了变化。”

 

我们询问 Brockman,OpenAI 打不打算向通过 Evals 测试其模型的人们付费。他暂时给不出确切的结论,但表示 OpenAI 确实向指定的 Evals 用户开放了 GPT-4 API 的早期访问权限。

 

Brockman 还谈到了 GPT-4 的上下文窗口,也就是模型在生成新文本之前能够参考的文本量。OpenAI 目前正在测试 GPT-4 某一特定版本,其能够“记住”约 50 页内容。换句话说,这个版本的“记忆容量”相当于普通 GPT-4 的 5 倍、GPT-3 的 8 倍。

 

Brockman 认为更大的上下文窗口将派生出前所未有的新型应用程序,特别是在企业场景之下。他设想会有专门为企业业务构建的 AI 聊天机器人,能够利用不同来源(包括各部门员工)的上下文和知识以娴熟的对话解惑答疑。

 

这虽然不是什么新鲜概念,但 Brockman 表示 GPT-4 的回答质量要远远高于责令一切聊天机器人和搜索引擎。

 

“以往,模型并不知道是谁在发问、你对哪些内容感兴趣等。更大的上下文窗口代表着更丰富的参考信息,肯定会让 AI 模型掌握更多知识、更好地为人类赋能。”

 

原文链接:

https://techcrunch.com/2023/03/15/interview-with-openais-greg-brockman-gpt-4-isnt-perfect-but-neither-are-you/?guccounter=1&guce_referrer=aHR0cHM6Ly9uZXdzLnljb21iaW5hdG9yLmNvbS8&guce_referrer_sig=AQAAAATciFx2sgGMIyHWoErJAFDo6hB-eouE0HxMvTSOgk8aD6C_Clkzk1JtNZaOTbUtf9Sa-BuwBS36sQu2t7l6vwj58K34WkrFWPpyEGskLBTvfqdMXbtLtF6ZaOoTWSWRCt7Egccc-lQIqGECJN5Y2gZX1WXh9FR5o17IQEHY3jjf

2023-03-23 16:594503
用户头像
李冬梅 加V:busulishang4668

发布了 979 篇内容, 共 581.0 次阅读, 收获喜欢 1131 次。

关注

评论

发布
暂无评论
发现更多内容

创业公司用 Serverless,到底香不香?

Serverless Devs

Java Serverless 运维 云原生 大前端

从 RxJS 到 Flink:如何处理数据流?

Apache Flink

flink 流计算

Selenium高效拍档-HtmlUnit

dothetrick

Java 自动化测试 测试开发

依赖倒置原则与单一接口隔离原则

Andy

七大关于DevOps的误解,你中了几招?

禅道项目管理

DevOps 运维 开发 自动化测试

12周作业

走走,停停……

Go语言分布式系统配置管理实践--go archaius

华为云开发者联盟

分布式 Go 语言

数仓实时化改造:Hudi on Flink 在顺丰的实践应用

Apache Flink

flink 流计算

三十未立

阿萌

人生修炼

大作业二--知识点整理

Nick~毓

招聘 | 腾讯云大数据,期待您的加入!

腾讯云大数据

大数据

区块链加密货币钱包系统APP开发|区块链加密货币钱包软件开发

系统开发

在线教育的发展

anyRTC开发者

AI 音视频 WebRTC 在线教育

为PostgreSQL的表自动添加分区

PostgreSQLChina

数据库 postgresql 开源

第五周 技术选型(一) 学习总结

胡云飞

纵观 Excel 演化史,开发者如何通过“表格技术”提升企业生产力

葡萄城技术团队

Excel SpreadJS

从源码层面理解ArrayList 扩容策略

geekymv

Java 扩容 ArrayList

前端异常监控 Sentry 的私有化部署和使用

智联大前端

大前端 监控 异常 sentry 错误

13周作业

走走,停停……

揭开KPI异常检测顶级AI模型面纱

华为云开发者联盟

华为 AI 数据 决策树

来啦!2020 Java开源项目权威排名解读:Spring Boot排名稳定、Shiro未上榜

JavaGuide

开源 springboot springsecurity shiro

看透Spring MVC源代码分析与实践

田维常

Java

IPFS挖矿APP系统开发|IPFS挖矿软件开发

系统开发

Spark 3.0 关键新特性回顾

hanke

大数据 spark 开源

GitHub 的野心,5600 万开发者的新社区

打工人 Coco

GitHub 开源 开源社区

图灵测试已过时,AI 需要新基准测试;别了Flash,Adobe播放器正式停运

京东科技开发者

云计算 AI 量子计算机

京东面试:说说MySQL的架构体系

田维常

MySQL

原始时代对分布式架构的探索

而立斋

为什么计算机经典大头书老是看不进去?

yes

学习 技术书籍 阅读

mybatis使用及SQL语句优化小结

华为云开发者联盟

数据库 mybatis 索引 实用SQl语句

重学JS | 深入理解Object,必会知识点汇总

梁龙先森

大前端 编程语言

对话OpenAI Greg Brockman:GPT-4并不完美,但人类也一样_AI&大模型_Kyle Wiggers_InfoQ精选文章