当地时间 6 月 27 日,Mozilla 发布了与Supabase合作开发的生成式人工智能助手 AI Help。开发者只需在 MDN 上提出问题,AI Help 就会开始工作。但由于 AI Help 频繁出错,社区批评声不断,一致反对 Mozilla 使用 AI Help 。
错误频出,社区要求下架
在 MDN 的 Yari 存储库上,一位名为 Eevee 的开发人员,“MDN 现在可以自动对寻求技术信息的人撒谎。”
Eevee 访问了浏览器地址栏历史记录中的第一篇 MDN 文章(针对网格属性),在遇到的第一个代码块(语法摘要)上点击“aiterpret”,并收到以下信息:
grid: "a" 100px "b" 1fr;:此值将网格模板设置为两行两列。第一行的高度为 100 像素,第二行的高度为 1 个分数单位 (1fr)。这些列被命名为“a”和“b”。
Eevee 表示,这是严重但微妙的错误:只创建一列(更多的列需要斜杠),并且引用的字符串是区域的名称,而不是列的名称。但它是可信的,它与其他正确的属性值解释交织在一起。这尤其糟糕,因为 grid 具有复杂快捷语法的属性——正是人们可能想要点击“解释”按钮的那种东西。
“生成的文本似乎未经审查、不可靠、不负责任,甚至无法纠正。至少如果文本被嵌入到存储库中,它可能会受到人类监督和 pull request,但据我所知,它只是在某个缓存中?似乎这个功能的构思、开发和部署都没有考虑到 LLM 可能会产生令人信服的胡言乱语。”Eevee 说道。“我希望 MDN 包含正确的信息,但实际上 MDN 生成了一个听起来令人信服的谎言,且没有明显的纠错过程。”
开发者 Lifning 也表示,这不是偶发的单独事件,直接给出了一张截图:
还有人表示,AI Help自相矛盾、错误识别 CSS 功能、错误地解释辅助功能,并且通常不理解 CSS。
Eevee 帖子下边,几乎充斥着对 MDN 的批评。开发者“MrLightningBolt”表示,“由于上述原因,这种‘AI’万金油比无用更糟糕;其他示例的创建很简单。MDN 的存在会让情况变得更糟。”
“我非常依赖这些文档。但 LLM 非常不可靠,所以不要使用它了,请将原来人工 MDN 作为开发人员文档的可信来源。”Datarocks 说道。
屡次出现的错误严重损害了开发者对 MDN 的信心。Dalton Miner 表示,“我使用 MDN,因为它是一个全面、准确的文档来源,没有任何废话。我看不出容易出现严重错误的 LLM 输出如何改善这一点。它极大地削弱了我对 MDN 的信心,我担心它的包容性将导致过度依赖廉价但不可靠的文本生成。”
开发人员 Andi McClure痛斥了新的 AI Help 功能,甚至因此表示不再使用 MDN,“除了道德、法律和声誉问题之外,实际上,在我确信在所有‘AI’集成和内容已从 MDN 中永久删除之前,我无法相信或者出于任何目的使用 MDN。”
Ruby Juric 对 Mozilla 表达了强烈的不满,“Mozilla,如果您试图削弱社区对您作为 MDN 有效管理者的信任,那么您的工作已经非常出色了。我们要求您做的就是接受社区反馈——我认为在这个高曝光的问题中,几乎完全没有支持此功能的声音,社区足够一致——请丢掉这个没人想要的东西。我们不希望有‘信息可能不正确’的免责声明。我们一开始就不想要错误信息。”
Ruby Juric 表示,“为什么社区反馈被忽视?为什么 Mozilla 认为这个功能如此重要,以至于尽管社区几乎一致反对,但 Mozilla 仍保留它?”
Mozilla 没有立即回应。然而,MDN 核心维护者 sideshowbarker 似乎已经注意到了这一混乱局面。
这个变化似乎是两天前在 e342081 上发布的——没有任何相关的问题,只有#9188上的一个 PR,其中绝对没有任何讨论或任何类型的背景信息。
在我看来,这一点上,Mozilla 太自作主张了,而且没有给任何其他 MDN 利益相关者任何提示。(我可能错了,我离开了一段时间——不幸的是,上个月我的很多时间都花在了其他地方,这使我无法做我通常会做的 MDN 工作。)
无论如何,这个“用 AI 来解释”是一个非常糟糕的想法,原因很明显。在这一点上,我至少可以承诺,我个人将在内部尽可能高紧迫地让内部高度重视这个问题(在发表这篇评论之前,我已经开始这样做了),以便把它尽快删除。
后来,MDN 表示“AI Help”功能已暂时停止,团队表示稍后会继续研究问题。
据悉,AI Help 的灵感来自Supabase Clippy,而 Supabase Clippy 又受到Clippy的启发。有趣的是,Clippy 的设计师 Kevan Atteberry 自己都不好意思将其纳入自己的作品集。
Mozilla 的入局策略
今年三月,Mozilla 宣布投资 3000 万美元成立了名为 Mozilla.ai 的初创公司,通过社区驱动来构建一个值得信赖、独立和开源的 AI 生态系统。
“我在值得信赖的人工智能领域工作了近五年,一直感到兴奋和焦虑交织,”Mozilla 执行总裁兼 Mozilla.ai 负责人 Mark Surman 对外媒表示,“大型科技公司人工智能的快速发布没有什么不同。真正令人兴奋的新技术正在出现——新工具立即激发了艺术家、创始人等各种各样的人尝试新事物。但当意识到几乎没有人建立防护栏时,你就会感到焦虑。”
过去几个月涌现出来的模型对现实世界的影响令人担忧,比如在发布时,ChatGPT 可能会被提示编写恶意软件等。很多模型的创建者表示正在采取措施遏制滥用行为,但 Mozilla 认为他们做得还不够。
因此,Surman 强调这家公司的使命不是随便构建什么人工智能,而是构建开源且“值得信赖”的人工智能。
Surman 还将 Mozilla.ai 描述为半研究公司、半社区——一家致力于帮助创建值得信赖、独立的开源 AI 堆栈的初创公司。Bard 支持的谷歌和 ChatGPT 支持的 Bing 保持封闭,即使长期以来一直承诺成为开放生态系统的 OpenAI,也开始更少地分享有关其模型和训练数据的信息。Mozilla.ai 希望改变这一点。
根据报道,最初,Mozilla.ai 的首要任务是建立一支由大约 25 名工程师、科学家和产品经理组成的团队,按照 OpenAI GPT-4 的路线开发“值得信赖”的推荐系统和大型语言模型。但该公司更广泛的目标是建立一个由拥有共同愿景的联盟公司和研究团体(包括 Mozilla Ventures 支持的初创公司和学术机构)组成的网络。
Mozilla.ai 目前主要在开发一些工具,例如让用户询问人工智能聊天机器人答案背后的来源。该公司还努力创建能让用户更好地控制内容推荐的系统,例如基于 Mozilla 现有研究针对个人或社区做价值优化的推荐系统。
ChatGPT、Bing 等已经开始改变互联网的运作方式。Mozilla 已经跟进这件事有一段时间了,比如 2020 年发布了被广泛引用的“创建值得信赖的人工智能”白皮书,但大部分时间 Mozilla 都对产品持观望态度。
Mozilla 长期以来一直是市场上规模虽小但有影响力的参与者,尤其是 Firefox。虽然 Firefox 不再是最流行的网络浏览器,但它的流行足以让 Mozilla 有资格加入这场竞争。
Mozilla 喜欢谈论建立更广泛的社区和生态系统,但很明显该公司也将人工智能视为 Firefox 未来的一部分。Mozilla 首席执行官Mitchell Baker表示,我们正在进入一个真正变革的时刻,这可能有助于 Firefox(或其他一些浏览器)赢回一些市场份额。事实上,Bing 确实因为接入 ChatGPT 而用户数量大增。
入场较晚的 Mozilla 能否凭借社区、开放这一属性赢得一席之地还要拭目以待。
参考链接:
https://github.com/mdn/yari/issues/9208
https://www.theregister.com/2023/07/03/mozilla_developer_network_adds_ai/?td=rt-3a
https://techcrunch.com/2023/03/22/mozilla-launches-a-new-startup-focused-on-trustworthy-ai/
活动推荐:
2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。
评论