立即领取|华润集团、宁德核电、东风岚图等 20+ 标杆企业数字化人才培养实践案例 了解详情
写点什么

奥特曼突然变身 OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊

  • 2024-05-29
    北京
  • 本文字数:3027 字

    阅读完需:约 10 分钟

大小:1.37M时长:08:00
奥特曼突然变身OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊

OpenAI 公司已经成立新的安全小组,致力于开发 GPT-4 的继任模型,同时也是为了应对近期多位离职雇员对其商业意图的严厉批评。

 

该团队被称为安全与保障委员会(Safety and Security Committee,简称 SSC),领导层包括 OpenAI 公司 CEO Sam Altman、委员会主席为 Bret Taylor,外加 Adam D’Angelo 与 Nicole Seligman 等董事会成员。

 

其他委员会成员则是来自 OpenAI 下辖各团队的负责人,包括曾经取代公司联合创始人 Ilya Sutskever 并担任了 13 天首席科学家的 Jakub Pachocki。

 

OpenAI 公司表示,从现在起,该安全团队将就“关键的安全与保障决策”向董事会提出建议。这些决定可能会影响 GPT-4 继任模型的开发,即 OpenAI 在公告中提到的“下一个前沿模型”。

 

在一个名“OpenAI 董事会成立安全委员会”的公告里,插入这样一条重要信息,着实很容易让人联想 OpenAI 是不是在借此暗暗转移大众视线,毕竟大家对 GPT-5 的期待是可以盖过对安全的关注的。

 

该公司解释称,“我们很自豪能够构建并发布在行业拥有领先能力及安全水平的模型,也同样欢迎在这个重要时刻开展激烈的辩论。”但 OpenAI 并没有介绍具体讨论内容。

 

这支安全团队的首要任务,就是在 90 天时间内制定出可供董事会审议的安全建议,不过 Altman 及其他董事对于建议内容仍拥有最终决定权。当然,OpenAI CEO 及其他四位负责人同样可以在提交董事会之前对建议内容施加影响。

 

得到更多质疑:对谁安全?

 

新安全委员会的成立,很可能是为了回应本月早些时候 Sutskever 与 Jan Leike 两位重量级人物的高调离职。随着他们离开 OpenAI,公司内负责评估长期 AI 安全问题的超级对齐小组也宣告解散。

 

在离职之前,Leike 一直担任超级对齐小组的负责人。几乎在 OpenAI 发布通告的同时,Leike 宣布加入了 Anthropic。Anthropic 由前 OpenAI 工程师创立,创始人出走就是因为双方安全理念存在差异。Leike 在 Anthropic 依旧负责超级对齐。

 


Leike 在超级对齐团队解散的前一天曾经表示,“过去几年以来,安全文化和流程已经让位于公司对快速发布新品的坚持。我们早就应该认真思考通用人工智能(AGI)的影响了……OpenAI 必须成为一家以安全为先的 AGI 厂商。”

 

该发言还引来马斯克的“补刀”:言外之意就是,安全并不是 OpenAI 现在的首要任务。

 

但这个新部门的成立并没有扭转网上 OpenAI 一直以来的负面安全舆论,反而引来了网友更多质疑。“好吧,我想 OpenAI 的产品现在对于 Sam Altman 和他的目标来说是安全的。”有网友略显无奈地说道。

 

“利益冲突。这样的安全团队从定义上来说难道不应该是独立的吗?”有人质疑道。对此网友调侃成:“是的,应该有一个治理架构,确保首席执行官遵守以下原则……哎呀,他们已经摧毁整个组织架构了。”

 

也有网友称:“至少 OpenAI 现在有了一个‘安全’团队。”显然还是觉得 OpenAI 有些敷衍。

 

当然,也有人期待这个安全委员会未来会做出什么成绩,毕竟 Altman 的信徒大有人在。“我仍然可以让 ChatGPT 告诉我如何制造炸弹。所以,是的,我迫不及待地想看到安全进展。”

 

对此,行内资深专家告诉“AI 前线”,这更多是公司内部资源分配的问题。OpenAI 一直讲闭源才安全,有人认为 AGI 要来了、机器要毁灭人类,所以安全太重要了,要赶紧把安全做好,需要投入一定比例的资源进去。但是从一个商业公司的角度看,企业不可能停下工作去做各种安全方面的事情,更多还是要不停开发布新的模型,然后满足客户的需求,跟其他公司竞争。

 

前董事会成员“插刀”

 

同样在今天,OpenAI 前董事会成员 Helen Toner 和 Tasha McCauley 的联名文章,再次将 Altman 不关心安全的问题推上浪尖。

 

“由于 Altman 个人长期以来的行为模式,董事会维护公司使命的能力受到了越来越大的限制。据我们了解,这些行为不仅削弱了董事会对关键决策和内部安全协议的监督能力,还引发了其他问题。”

 

根据爆料,多位高层领导私下向董事会表达了深切的担忧,他们认为 Altman 营造了一种“撒谎的有毒文化”,并涉嫌“心理虐待”行为。Toner 还表示,Altman“多次”向董事会撒谎,并且“隐瞒信息”,她甚至是在 Twitter 上知道 ChatGPT 发布的消息的。

 

当董事会意识到 Altman 需要被换掉时,Toner 表示,如果 Altman 发现了这个,很明显他会“竭尽全力”阻止董事会反对他。她声称他“开始对其他董事会成员撒谎,试图将我从董事会中赶出去。”

 

“我们非常小心,非常慎重地选择通知谁,除了我们的法律团队之外,几乎没有任何人提前通知过我们,所以这才把消息拖到了 11 月 17 日。”Toner 谈及去年的 OpenAI 政变时说道。

 

两人指出,自从 Altman 重返公司以来,一些发展动态令人担忧,包括他重新加入董事会,以及 OpenAI 一些专注于安全领域的高级人才的离职。这些情况对于 OpenAI 在自我治理方面的实验来说,似乎预示着一些不利的影响。

 

有趣的是,刚刚成为亿万富翁不久的 Sam Altman 承诺捐出自己大部分财富,表示将继续专注于“支持有助于为人们创造富足的技术”。

 

资深专家:应该先关注看得见的风险

 

没有什么比 Sutskever 和 Leike 等人扮演的重要角色更能表明 OpenAI 致力于其使命的了。Sutskever 和 Leike 是技术专家,他们长期致力于安全,并明显真诚地愿意在必要时要求 OpenAI 改变方向。

 

Sutskever 在 2019 年的采访中当记者刚刚说道,“你们说,‘我们要建立一个通用人工智能,’”时,Sutskever 立即插话强调:“我们将尽一切可能朝这个方向努力,同时确保以一种安全的方式做到这一点。”

 

随着他们的离职,很多人问他们在 OpenAI 看到了什么,但没有得到答案。

 

不同于 Sutskever、Leike 等人坚决捍卫 AI 安全的态度,有些大佬并不那么重视,比如图灵奖得主 Yann LeCun。

 

当时,在 LeCun 在对 Jan Leike 的回贴中,他表示当前对 AI 安全担忧的紧迫感是过度夸张的,类似于在涡轮喷气发动机发明之前,急于解决跨洋飞行的安全问题。所以难怪 OpenAI 解散对齐团队。在 LeCun 看来,智能系统的进化需要多年时间,应该通过反复的工程改进逐步提高其智能和安全性,而不是过度担忧未来可能的风险。

 

同时,上述专家也告诉“AI 前线”,从开源角度讲,我们离“AGI 来了、毁灭人类”这些还很远,他并不认可这些说法。

 

该专家表示,目前,AI 安全上的风险更多来自大家看得见、摸得着的地方,比如数据集的偏见和毒化给使用模型带来很多挑战:让 ChatGPT 画一个剥了皮的荔枝,由于 ChatGPT 根本不知道荔枝剥皮了什么样,所以它就是随便画;又如让 Stable Diffusion 等海外模型画北京城市,它会画一个破破烂烂的四合院。

 

“目前,像这种数据集的 bias 其实没有得到很多关注。但这种可能是更重要的,与超级对齐不是一回事儿,”该专家说道。

 

该专家也分析称,从更大层面来说,美国也在渲染 AI 安全问题,比如 AI 自动生成恶意软件、自动攻击各种网站,但实际上我们都知道,代码生成的能力远远没有到这种程度,所以这种渲染也是为了防止模型出口,不让非常厉害的模型技术扩散出去。美国炒作这个事情,也有想要得到中国类似“不利用这个技术开发武器”承诺的意图。

 

“安全是一个非常大的叙事,每个人在不同的立场都会有不同的看法。”当前应该把主要精力投入到哪个方面?显然 OpenAI 当前掌门人有自己的答案,其他公司也有自己的答案。但答案正确与否,还需要时间验证。

 

参考链接:

 

https://openai.com/index/openai-board-forms-safety-and-security-committee/

https://www.theregister.com/2024/05/28/openai_establishes_new_safety_group/

https://www.businessinsider.com/openai-board-member-details-sam-altman-lied-allegation-ousted-2024-5

2024-05-29 17:393734

评论

发布
暂无评论

企评家|四川美丰化工股份有限公司成长性报告简述

企评家

企评家| 嘉凯城集团股份有限公司成长性评价报告摘要

企评家

DDD实战(10):冲刺1战术之服务设计(下)及技术决策

深清秋

DDD 软件架构 软件设计 生鲜电商系统 5月月更

C语言-strlen与sizeof区别

芒果酱

c++ 编程语言 C语言 5月月更

SOFA Serverless 体系助力业务极速研发

SOFAStack

开源 Serverless springboot GitHub、 SOFA

数字化转型的理论体系与具体技术

小炮

数字化转型

String源码解析-String的使用注意

zarmnosaj

5月月更

揭露ROI提升5倍的秘密!火山引擎A/B测试白皮书重磅发布(内附下载链接)

字节跳动数据平台

字节跳动 数字营销 ab测试

ansible 模块:systemd

ghostwritten

ansible systemd

根因分析思路方法总结|保障IT系统及其稳定性

云智慧AIOps社区

算法 监控 根因分析 智能运维

企评家 | 从机器学习刻画企业成长性画像

企评家

40万年才能遇到外星人,是怎么算出来的?

脑极体

深入了解 Flutter 的状态管理机制(下)

岛上码农

flutter 移动端 安卓开发 ios 开发 5月月更

直播预告|企业智能化转型Meetup V1

星策开源社区

AI BI 智能化转型

ansible 模块:modprobe

ghostwritten

ansible

如何用同一套账号接入整个研发过程?

阿里云云效

云计算 阿里云 运维 研发管理 研发

ansible 模块:lineinfile

ghostwritten

ansible

玩了一场剧本杀,同车队友“不是人”

白洞计划

厚积薄发——开源公司商业化之路

CnosDB

IoT 时序数据库 开源社区 CnosDB infra

ansible 模块:template

ghostwritten

ansible

spring中如何自己去实现一个starter

ZuccRoger

5月月更

十、高可用之应急预案

穿过生命散发芬芳

5月月更 高可用设计

iframe框架

恒山其若陋兮

5月月更

真正深入底层!阿里巴巴2022最新版JDK源码剖析笔记太香了

Java全栈架构师

Java 源码 jdk 面试 程序人生

Native Flink on Kubernetes 在小红书的实践

Apache Flink

大数据 flink 编程 流计算 实时计算

【愚公系列】2022年05月 二十三种设计模式(十)-外观模式(Facade Pattern)

愚公搬代码

5月月更

ansible 模块:pause

ghostwritten

ansible

ansible 模块:include_tasks

ghostwritten

ansible

最佳10大开源项目管理系统

爱吃小舅的鱼

数据仓库ETL管理平台TASKCTL调度计划控制原理

敏捷调度TASKCTL

程序员 DevOps 分布式 数据仓库 ETL

Web常见的漏洞描述与修复方案

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

奥特曼突然变身OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊_AI&大模型_褚杏娟_InfoQ精选文章