写点什么

奥特曼突然变身 OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊

  • 2024-05-29
    北京
  • 本文字数:3027 字

    阅读完需:约 10 分钟

大小:1.37M时长:08:00
奥特曼突然变身OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊

OpenAI 公司已经成立新的安全小组,致力于开发 GPT-4 的继任模型,同时也是为了应对近期多位离职雇员对其商业意图的严厉批评。

 

该团队被称为安全与保障委员会(Safety and Security Committee,简称 SSC),领导层包括 OpenAI 公司 CEO Sam Altman、委员会主席为 Bret Taylor,外加 Adam D’Angelo 与 Nicole Seligman 等董事会成员。

 

其他委员会成员则是来自 OpenAI 下辖各团队的负责人,包括曾经取代公司联合创始人 Ilya Sutskever 并担任了 13 天首席科学家的 Jakub Pachocki。

 

OpenAI 公司表示,从现在起,该安全团队将就“关键的安全与保障决策”向董事会提出建议。这些决定可能会影响 GPT-4 继任模型的开发,即 OpenAI 在公告中提到的“下一个前沿模型”。

 

在一个名“OpenAI 董事会成立安全委员会”的公告里,插入这样一条重要信息,着实很容易让人联想 OpenAI 是不是在借此暗暗转移大众视线,毕竟大家对 GPT-5 的期待是可以盖过对安全的关注的。

 

该公司解释称,“我们很自豪能够构建并发布在行业拥有领先能力及安全水平的模型,也同样欢迎在这个重要时刻开展激烈的辩论。”但 OpenAI 并没有介绍具体讨论内容。

 

这支安全团队的首要任务,就是在 90 天时间内制定出可供董事会审议的安全建议,不过 Altman 及其他董事对于建议内容仍拥有最终决定权。当然,OpenAI CEO 及其他四位负责人同样可以在提交董事会之前对建议内容施加影响。

 

得到更多质疑:对谁安全?

 

新安全委员会的成立,很可能是为了回应本月早些时候 Sutskever 与 Jan Leike 两位重量级人物的高调离职。随着他们离开 OpenAI,公司内负责评估长期 AI 安全问题的超级对齐小组也宣告解散。

 

在离职之前,Leike 一直担任超级对齐小组的负责人。几乎在 OpenAI 发布通告的同时,Leike 宣布加入了 Anthropic。Anthropic 由前 OpenAI 工程师创立,创始人出走就是因为双方安全理念存在差异。Leike 在 Anthropic 依旧负责超级对齐。

 


Leike 在超级对齐团队解散的前一天曾经表示,“过去几年以来,安全文化和流程已经让位于公司对快速发布新品的坚持。我们早就应该认真思考通用人工智能(AGI)的影响了……OpenAI 必须成为一家以安全为先的 AGI 厂商。”

 

该发言还引来马斯克的“补刀”:言外之意就是,安全并不是 OpenAI 现在的首要任务。

 

但这个新部门的成立并没有扭转网上 OpenAI 一直以来的负面安全舆论,反而引来了网友更多质疑。“好吧,我想 OpenAI 的产品现在对于 Sam Altman 和他的目标来说是安全的。”有网友略显无奈地说道。

 

“利益冲突。这样的安全团队从定义上来说难道不应该是独立的吗?”有人质疑道。对此网友调侃成:“是的,应该有一个治理架构,确保首席执行官遵守以下原则……哎呀,他们已经摧毁整个组织架构了。”

 

也有网友称:“至少 OpenAI 现在有了一个‘安全’团队。”显然还是觉得 OpenAI 有些敷衍。

 

当然,也有人期待这个安全委员会未来会做出什么成绩,毕竟 Altman 的信徒大有人在。“我仍然可以让 ChatGPT 告诉我如何制造炸弹。所以,是的,我迫不及待地想看到安全进展。”

 

对此,行内资深专家告诉“AI 前线”,这更多是公司内部资源分配的问题。OpenAI 一直讲闭源才安全,有人认为 AGI 要来了、机器要毁灭人类,所以安全太重要了,要赶紧把安全做好,需要投入一定比例的资源进去。但是从一个商业公司的角度看,企业不可能停下工作去做各种安全方面的事情,更多还是要不停开发布新的模型,然后满足客户的需求,跟其他公司竞争。

 

前董事会成员“插刀”

 

同样在今天,OpenAI 前董事会成员 Helen Toner 和 Tasha McCauley 的联名文章,再次将 Altman 不关心安全的问题推上浪尖。

 

“由于 Altman 个人长期以来的行为模式,董事会维护公司使命的能力受到了越来越大的限制。据我们了解,这些行为不仅削弱了董事会对关键决策和内部安全协议的监督能力,还引发了其他问题。”

 

根据爆料,多位高层领导私下向董事会表达了深切的担忧,他们认为 Altman 营造了一种“撒谎的有毒文化”,并涉嫌“心理虐待”行为。Toner 还表示,Altman“多次”向董事会撒谎,并且“隐瞒信息”,她甚至是在 Twitter 上知道 ChatGPT 发布的消息的。

 

当董事会意识到 Altman 需要被换掉时,Toner 表示,如果 Altman 发现了这个,很明显他会“竭尽全力”阻止董事会反对他。她声称他“开始对其他董事会成员撒谎,试图将我从董事会中赶出去。”

 

“我们非常小心,非常慎重地选择通知谁,除了我们的法律团队之外,几乎没有任何人提前通知过我们,所以这才把消息拖到了 11 月 17 日。”Toner 谈及去年的 OpenAI 政变时说道。

 

两人指出,自从 Altman 重返公司以来,一些发展动态令人担忧,包括他重新加入董事会,以及 OpenAI 一些专注于安全领域的高级人才的离职。这些情况对于 OpenAI 在自我治理方面的实验来说,似乎预示着一些不利的影响。

 

有趣的是,刚刚成为亿万富翁不久的 Sam Altman 承诺捐出自己大部分财富,表示将继续专注于“支持有助于为人们创造富足的技术”。

 

资深专家:应该先关注看得见的风险

 

没有什么比 Sutskever 和 Leike 等人扮演的重要角色更能表明 OpenAI 致力于其使命的了。Sutskever 和 Leike 是技术专家,他们长期致力于安全,并明显真诚地愿意在必要时要求 OpenAI 改变方向。

 

Sutskever 在 2019 年的采访中当记者刚刚说道,“你们说,‘我们要建立一个通用人工智能,’”时,Sutskever 立即插话强调:“我们将尽一切可能朝这个方向努力,同时确保以一种安全的方式做到这一点。”

 

随着他们的离职,很多人问他们在 OpenAI 看到了什么,但没有得到答案。

 

不同于 Sutskever、Leike 等人坚决捍卫 AI 安全的态度,有些大佬并不那么重视,比如图灵奖得主 Yann LeCun。

 

当时,在 LeCun 在对 Jan Leike 的回贴中,他表示当前对 AI 安全担忧的紧迫感是过度夸张的,类似于在涡轮喷气发动机发明之前,急于解决跨洋飞行的安全问题。所以难怪 OpenAI 解散对齐团队。在 LeCun 看来,智能系统的进化需要多年时间,应该通过反复的工程改进逐步提高其智能和安全性,而不是过度担忧未来可能的风险。

 

同时,上述专家也告诉“AI 前线”,从开源角度讲,我们离“AGI 来了、毁灭人类”这些还很远,他并不认可这些说法。

 

该专家表示,目前,AI 安全上的风险更多来自大家看得见、摸得着的地方,比如数据集的偏见和毒化给使用模型带来很多挑战:让 ChatGPT 画一个剥了皮的荔枝,由于 ChatGPT 根本不知道荔枝剥皮了什么样,所以它就是随便画;又如让 Stable Diffusion 等海外模型画北京城市,它会画一个破破烂烂的四合院。

 

“目前,像这种数据集的 bias 其实没有得到很多关注。但这种可能是更重要的,与超级对齐不是一回事儿,”该专家说道。

 

该专家也分析称,从更大层面来说,美国也在渲染 AI 安全问题,比如 AI 自动生成恶意软件、自动攻击各种网站,但实际上我们都知道,代码生成的能力远远没有到这种程度,所以这种渲染也是为了防止模型出口,不让非常厉害的模型技术扩散出去。美国炒作这个事情,也有想要得到中国类似“不利用这个技术开发武器”承诺的意图。

 

“安全是一个非常大的叙事,每个人在不同的立场都会有不同的看法。”当前应该把主要精力投入到哪个方面?显然 OpenAI 当前掌门人有自己的答案,其他公司也有自己的答案。但答案正确与否,还需要时间验证。

 

参考链接:

 

https://openai.com/index/openai-board-forms-safety-and-security-committee/

https://www.theregister.com/2024/05/28/openai_establishes_new_safety_group/

https://www.businessinsider.com/openai-board-member-details-sam-altman-lied-allegation-ousted-2024-5

2024-05-29 17:393696

评论

发布
暂无评论

架构师训练营 - 作业 - 第五讲

吕浩

第五周作业

CP

第五周作业

nihuihua

week5. 总结心得

dj_cd

极客大学架构师训练营

一致性hash的Java代码实现

叶鹏

第五周总结

Linuxer

极客大学架构师训练营

架构师训练营第 5 周作业

Season

一致性哈希 一致性Hash算法

架构师训练营第五周学习总结

Bruce Xiong

架构师训练营第 5 周学习总结

Season

缓存 反向代理 消息队列

架构师训练营Week5学习总结

小高

第五周总结

叶鹏

「架构师训练营」第 5 周总结

guoguo 👻

极客大学架构师训练营

第五周学习总结

CP

Week05 学习心得 - 技术选型

极客大学架构师训练营

架构第四周课程作业

dj_cd

极客大学架构师训练营

第五周作业:一致性 hash 算法

Larry

免费的GPU,还有全系列的OpenJDK

孙苏勇

Java 学习 gpu Openjdk Colab

架构师训练营-第五章-一致性hash算法

而立

极客大学架构师训练营

第四周架构课程总结心得

dj_cd

极客大学架构师训练营

架构师 0 期 | 缓存--提升性能大杀器

刁架构

极客大学架构师训练营

架构师训练营第五周作业

fenix

架构师训练营-第五章-课程总结

而立

极客大学架构师训练营

架构师训练营第五周 - 总结

Larry

第五周总结

nihuihua

week5 作业

雪涛公子

架构师训练营 第五周 作业

极客

面向对象学习

一叶知秋

架构师训练营第五周作业

Geek_2dfa9a

第五周作业

路人

极客大学架构师训练营

week5 总结

雪涛公子

第五周 架构师技术选型总结

netbanner

奥特曼突然变身OpenAI “安全卫士”!网友:刚被实锤不关心安全还“心理虐待”,谁信啊_AI&大模型_褚杏娟_InfoQ精选文章