速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

内部数百工程师可随意摄取 OpenAI 先进模型!OpenAI 前员工揭露:谏言即被开除,祈祷公司不报复

  • 2024-09-23
    北京
  • 本文字数:3521 字

    阅读完需:约 12 分钟

大小:1.61M时长:09:24
内部数百工程师可随意摄取OpenAI先进模型!OpenAI前员工揭露:谏言即被开除,祈祷公司不报复

就在 OpenAI 新模型发布不久还被广泛赞誉的时候,OpenAI 举报人对其悄悄“背刺一刀”。

 

“我在 OpenAI 工作期间,运营体系有很长一段时间都存在漏洞,这些漏洞可能允许我或者公司内的其他数百名工程师绕过访问控制、窃取包括 GPT-4 在内的最先进 AI 系统。”OpenAI 举报人 William Saunders 在近日参加的一场关于人工智能监管的听证会上说道。

 

去年年初,一名黑客入侵了 OpenAI 的内部消息系统,并窃取了该公司 AI 技术设计的详细信息。这件事大家是最近才知道的。OpenAI 高管于 2023 年 4 月在公司旧金山办公室举行的全体会议上向员工透露了这一事件,并通知了董事会。但高管们决定不对外公开这一消息,因为没有关于客户或合作伙伴的信息被窃取。另外高管层也认为这与所谓国家安全没有关系,因为他们相信黑客是一名个人,与外国政府没有联系。

 

Saunders 在过去三年,一直担任 OpenAI 公司的技术人员。“OpenAI 一直强调自己正在进步,但我和其他已经辞职的员工都怀疑他们能不能跟得上发展的节奏。”Saunders 说道。

 

他以 OpenAI 最新模型 o1 为例称,这是首个向着生物武器风险迈进的系统,因为它能够帮助专家规划并重现已知的生物威胁。“如果不是经过了严格测试,o1 项目的开发者很可能忽略掉这种危险的能力。虽然 OpenAI 率先开展了相关测试,但公司的总体思路仍然是以部署为优先、而非以严格监管为优先。因此我认为,OpenAI 确实有可能遗漏未来 AI 系统当中某些重要的危险能力。”

 

“我之所以从 OpenAI 辞职,是因为我不再相信他们会以负责任的态度制定 AGI 相关决策。”看得出来,他抨击的 OpenAI 不止不关心 AI 安全,自家的安全也是一点都不担心。

 

批评 OpenAI,是要被“惩罚”的

 

今年 6 月有媒体曝出,OpenAI 员工如果想离开公司,将面临大量的、限制性极强的离职文件。如果他们在相对较短的时间内拒绝签字,就可能被威胁失去公司既得股权。这种做法在硅谷并不常见。这项政策迫使离职员工在放弃他们已经赚到的数百万美元和同意不批评公司之间做出选择,而且没有截止日期。

 

这一消息在 OpenAI 内部引起了轩然大波。与许多硅谷初创公司一样,OpenAI 的员工通常以股权的形式获得大部分的预期薪酬。员工们往往认为,一旦按照合同中规定的时间表“归属”,这些股权就属于他们了,公司无法收回。

 

外媒报道后的第二天,首席执行官 Sam Altman 就发文道歉,总体意思是:我不知道我们有一些威胁公平的条款,我保证我们不会再这样做了。OpenAI 部分高管在公司内部也表达了同样的歉意。OpenAI 首席战略官 Jason Kwon 承认,该规定自 2019 年以来就已实施,但“团队确实在一个月前就发现了这个问题。这么久了才被发现,是我的错。”

 

但外媒指出,公司领导层的道歉存在问题。终止文件中的离职信中写道:“如果您拥有任何既得的权益单位…您必须在 60 天内签署一份放弃索赔协议,以便保留这些权益单位。”该协议由 Kwon 和 前 OpenAI 人力副总裁 Diane Yoon 签署。这份秘密的超限制性保密协议仅针对已既得股权的“对价”,由首席运营官 Brad Lightcap 签署。

 

用威胁既得股权的方式让前员工签署极其严格的保密协议只是一部分,这里面还涉及更多细节。OpenAI 发出的冗长而复杂的解雇文件有效期只有七天,这意味着前员工只有一周的时间来决定是接受 OpenAI “封杀”,在无限期内无法发声批评 OpenAI,还是承担失去数百万美元的风险。但时间非常紧迫,他们几乎没有时间去寻找外部顾问。

 

“我们希望确保你们明白,如果不签署,可能会影响你们的股权。这对每个人来说都是如此,我们只是按规矩办事。”OpenAI 的代表如是说道。

 

大多数前员工在压力之下屈服了。对于拒绝签署第一份终止协议并寻求法律顾问的员工,OpenAI 改变了策略:没有说要取消股权,而是说阻止其出售股权。“你必须明白,此外你将没有资格参与未来我们赞助或促成的招标活动或其他流动性机会。”

 

此外,公司文件中还包含,“根据公司的全权酌情决定权”,任何被公司解雇员工的既得股权可以减至零。还有条款规定,公司可以全权决定哪些员工可以参与出售其股权的招标要约。

 

解雇一个员工,找个理由就可以

 

可能有人还记得,今年 OpenAI 因涉嫌泄露信息解雇了两名员工,其中一个就是 Leopold Aschenbrenner。Aschenbrenner 后来解释了他为什么会被解雇,并透露了更多细节。

 

“去年某个时候,我写了一份关于未来 AGI 道路上需要做的准备、安全和保障措施的头脑风暴文件。我与三位外部研究人员分享了这份文件以征求反馈。这就是泄密的内容。”Aschenbrenner 解释称,“当时在 OpenAI,与外部研究人员分享安全理念以获得反馈是完全正常的。这种情况一直都有。文档中有我的想法。在我分享之前,我审查了它是否有任何敏感内容。内部版本提到了未来的集群,我在外部副本中删去了它。有一些内部 PPT 的链接,但对于外部人员来说,这是一个无效链接。PPT 也没有与他们分享。”OpenAI 给他的回复是“计划在 2027-2028 年实现 AGI”,但公司并未设定准备时间表。

 

但这并不是他被解雇的真相,真正的原因是他写了一份关于 OpenAI 安全性内部备忘录并与董事会分享了该备忘录。

 

去年,我写了一份关于 OpenAI 安全性的内部备忘录,我认为这份备忘录严重不足,无法防止外国参与者窃取模型权重或关键算法机密。我与几位同事和几位领导分享了这份备忘录,他们大多表示这份备忘录很有帮助。

 

几周后,发生了一起重大安全事件。这促使我与几位董事会成员分享了这份备忘录。几天后,我清楚地知道,领导层对我与董事会分享这份备忘录非常不满。显然,董事会就安全问题向领导层提出了质问。

 

我因与董事会分享备忘录而收到人力资源部门的正式警告。人力资源部的人告诉我,担心间谍活动是种族主义行为,而且没有建设性。我可能没有发挥出最佳外交能力,本可以更精通政治。我认为这是一个非常重要的问题。安全事件让我非常担心。

 

我之所以提起这件事,是因为当我被解雇时,他们明确表示安全备忘录是我被解雇的主要原因。他们说:“这是解雇而不是警告,因为这份安全备忘录。”

 

Aschenbrenner 透露,在被解雇前,他被拉到一边跟律师交谈,但双方很快就对峙了起来。律师问了他对人工智能发展的看法、对 AGI 的看法、AGI 的适当安全级别、政府是否应该参与 AGI、我和超级联盟团队是否忠于公司,以及他在 OpenAI 董事会活动期间做了什么。然后律师还和 Aschenbrenner 的几个同事谈了谈,然后回来告诉就告他被解雇了。“他们查看了我在 OpenAI 工作期间的所有数字文件,然后发现了泄密事件。”

 

此外,律师团队还提出了其他几项指控。其中一件是,Aschenbrenner 在调查期间不愿透露与谁分享了头脑风暴文件,他表示自己确实不记得了,只记得曾与一些外部研究人员讨论过这些想法。“这份文件已经有六个多月了,我花了一天的时间研究它。”Aschenbrenner 表示,“它根本就不值得关注,因为它根本不是什么问题。”

 

Aschenbrenner 表示,OpenAI 还声称不喜欢他参与政策的方式。

 

“他们引用了我曾与几位外部研究人员谈过的观点,即 AGI 将成为政府项目。事实上,我当时正在与该领域的许多人讨论这一观点。我认为这是一件值得思考的重要事情。所以他们找到了我五、六个月前写给一位同事的 DM,他们也引用了这一点。”Aschenbrenner 说道。“我曾认为,与该领域的外部人士讨论有关 AGI 未来的高层问题是符合 OpenAI 规范的。”

 

OpenAI 公司内部的其他员工都对这样的事情表示惊讶。

 

从那时起,我和几十位前同事谈过这件事。他们的普遍反应是“这太疯狂了”。我也感到惊讶。几个月前我才刚刚升职。当时,Ilya 对我升职一事的评论是:“Leopold 太棒了。我们很幸运能拥有他。”

 

“从某种意义上说,这是合理的。我有时在安全问题上可能很烦人,这惹恼了一些人。我反复提到这一点,也许并不总是以最圆滑的方式提出来的。尽管有压力要求我在董事会活动期间签署员工信,但我并没有签署。”Aschenbrenner。

 

Saunders 和其他 OpenAI 员工此前签署了关于“对先进人工智能发出警告的权利”公开信。他们认为,只要政府还没有对 AI 企业施以有效监督,那就只有现任及前任员工来负起责任。然而,广泛的保密协议却阻止了他们表达自身担忧的权利,除非企业主动承认他们无力解决这些问题。”

 

Saunders 在听证会上隐隐透露出担心被报复的想法。他表示,“鉴于整个行业的历史上曾经发生过极端情况,我们中有一部分人可能担心受到各种形式的报复。我们并不是第一批遇到、或者决定正视这些问题的人。”

 

参考链接:

https://www.judiciary.senate.gov/imo/media/doc/2024-09-17_pm_-_testimony_-_saunders.pdf

https://www.vox.com/future-perfect/351132/openai-vested-equity-nda-sam-altman-documents-employees

https://www.dwarkeshpatel.com/p/leopold-aschenbrenner?open=false#%C2%A7what-happened-at-openai

2024-09-23 09:137214

评论

发布
暂无评论
发现更多内容

数据安全应急响应政策汇总:一份从无到有的应急预案实战指南(附下载)

极盾科技

SHQ Response 重新定义网络风险可视化与协作规则

财见

阿里云 ACK One 新特性:多集群网关,帮您快速构建同城容灾系统

阿里巴巴云原生

阿里云 容器 云原生

BAT程序员常用的开发工具,建议收藏!

快乐非自愿限量之名

腾讯 阿里 开发工具 BAT

如何使用Postman导入Swagger API文档

Liam

后端 Postman 接口文档 API swagger

华为云医疗智能体eiHealth的高性能--AI助力医疗智慧化升级

华为云PaaS服务小智

人工智能 医疗 华为云

Python程序员常用的IDE和其它开发工具

不在线第一只蜗牛

Python ide 编程语言 开发语言

又一大模型技术开源!有道自研RAG引擎QAnything正式开放下载

有道技术团队

祝贺!我的同事丁宇获“2023 年度云原生产业领军人物”荣誉称号

阿里巴巴云原生

阿里云 云原生

游戏字体渲染

游戏开发 计算机图形学 渲染 字体

华为发布2024数据中心能源十大趋势

财见

15款Java程序员必备的开发工具

快乐非自愿限量之名

Java jdk web开发

掌握测试管理的能力图谱:方法论、技术与资源管理全解析

测吧(北京)科技有限公司

测试

面试官:分库分表后如何生成全局ID?

王磊

Java 面试

阿里云云原生助力安永创新驱动力实践探索

阿里巴巴云原生

阿里云 云原生

Peplink 成为首家授权 Starlink 技术服务商

财见

管理型人格特质揭秘:适合测试管理的人应具备何种素质

测吧(北京)科技有限公司

测试

Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓

阿里云大数据AI技术

只需三步,开发文心一言应用帮你建立情感纽带!

飞桨PaddlePaddle

人工智能 深度学习 #飞桨# 飞桨AI

测试管理者的晋升秘籍:稳步提升职业地位的关键步骤

测吧(北京)科技有限公司

测试

记一次go应用在k8s pod已用内存告警不准确分析

EquatorCoco

Kubernetes go语言

Pixels:重新定义游戏体验的区块链农场游戏

Footprint Analytics

区块链游戏 链游 Pixels

GreptimeDB v0.6 发布 | 支持 Datanodes 间迁移数据表 Region

Greptime 格睿科技

数据库 时序数据库 版本发布

优化-Spring Boot项目服务端接口超时设置

alexgaoyh

Spring Boot Callable接口 @Transactional 接口超时

构建智算时代的云原生应用平台,2023 云原生产业大会,阿里云在这里!

阿里巴巴云原生

阿里云 容器 云原生

阿里云云原生专场精彩内容集锦丨2023 云原生产业大会

阿里巴巴云原生

阿里云 云原生

如何搭建企业级知识图谱系统

悦数图数据库

图数据库

《机器人流程自动化能力评估体系 第1部分:系统和工具》行标发布

王吉伟频道

RPA 机器人流程自动化 信通院 超自动化 行业标准

金融行业首个海量数据处理技术报告发布,“五化”技术助力金融数据潜能释放

腾讯云大数据

大数据

JNPF低代码开发平台总体架构介绍

互联网工科生

软件开发 低代码 JNPF

首个云原生、分布式、全栈国产化银行核心业务系统投产上线 XSKY 助力构建存储基础设施

XSKY星辰天合

内部数百工程师可随意摄取OpenAI先进模型!OpenAI前员工揭露:谏言即被开除,祈祷公司不报复_AI&大模型_褚杏娟_InfoQ精选文章