Inflection AI 发布新模型：5000 块英伟达 H100 训练、1750 亿参数
开发出对话聊天机器人 Pi 的初创公司 Inflection AI 刚刚发布其最新 AI 模型，据称这套模型的性能已然超越谷歌和 Meta 两家的主流替代方案，并且正快速缩小与 OpenAI 旗舰成果的差距。
Inflection AI 是由谷歌旗下 DeepMind AI 研究小组联合创始人 Mustafa Suleyman 与 LinkedIn 联合创始人 Reid Hoffman 于今年 3 月共同建立的企业。短短两个月后，该公司就完成了 2.25 亿美元融资；到今年 6 月，Inflection AI 又从微软、英伟达等多家知名投资方处额外筹得 13 亿美元。
Inflection 方面表示，这套新模型名为 Inflection-2，已经在多种标准基准测试中超越谷歌今年 5 月发布的 PaLM Large 2 模型，同时在其他一些指标上击败了由 Meta 牵头打造的开源 Llama 2 模型。这家初创公司指出，总的来看 Inflection 在同等体量的模型中表现最佳，目前仅落后于 OpenAI 发布的体量明显更大的旗舰级模型 GPT-4。
公司 CEO Mustafa Suleyman 在接受采访时表示，“我们坚信自己正处于这条扩展曲线的起点，由此延伸出的新功能确实令人无比兴奋。”
新发布的模型很快就会被整合进 Inflection 于今年 5 月发布的聊天机器人 Pi 当中。但 Suleyman 表示，在此之前还有大量“对齐”工作要做，即让新模型掌握 Pi 机器人的语气和回答风格，让它帮助 Pi 更好地发挥作用，并在吸纳最新信息的同时不致产生额外的幻觉。
他解释称，“无论用户想要就种族、性别、政治、OpenAI 乃至任何当下富有争议的问题进行敏感对话，Pi 都能以非常巧妙、谨慎且尊重事实的方式进行交互，并实时获取信息。”Suleyman 还补充道，Pi 将在“不久之后”更新至 Inflection-2 模型，但没有给出具体日期。
他也不愿透露 Pi 上的用户数量，只强调“Pi 非常受欢迎，用户留存率很高。”两周之前，OpenAI 表示其免费 ChatGPT 服务的每周用户数量已达 1 亿。但就在好消息发布后不久，上周五 OpenAI 董事会突然发难、解雇 CEO Sam Altman，上演了举世震惊的“宫斗戏”。
值此业界头部模型开发商身陷混乱的背景之下，我们很难不去关注 Inflection 此番发布的大语言模型。
有外媒称，拥有 1750 亿参数的模型被不少业内人士视为“当今世界上第二强的大模型”。就在本周三上午，OpenAI 正式宣布 Altman 将重返公司并继续担任 CEO。整个周末，各方盟友已经就 Altman 的回归展开谈判，OpenAI 公司员工还签署一份请愿书，要求董事会成员集体辞职。
而在 Inflection 这边，Suleyman 则坚称这家初创公司已经于今年早些时候筹集到 13 亿美元资金。但当时他并没有给出 Inflection 新模型的发布日期，只是在更早的公开言论中暗示可能会在年底前推出。他在最新公告中解释称，这次的发布实际上晚了一星期，模型训练工作早在上周就已经完成。
Inflection AI：Inflection-2 超越谷歌、Meta 家主流模型，目前仅落后于 GPT-4
在 Inflection-2 的训练当中，该公司使用了 5000 块英伟达 H100 图形处理单元（GPU），远少于训练前代 Inflection-1 时使用的数千块 A100。目前 H100 的零售价超过 2.5 万美元，内置 800 亿晶体管，其语言模型运行速度高达英伟达上代旗舰 A100 GPU 的 30 倍。
Inflection AI 还使用 H100 进行推理，也就是在生产当中运行 Inflection-2 以处理用户提交的任务。Suleyman 还提到，新模型的训练速度更快、成本更低，但同样需要处理大量运算任务（10^25 FLOP，即浮点运算）。Inflection 已经与微软、英伟达和 CoreWeave 密切合作以管理其计算集群。
Inflection 公司已经在一套流行的高中与专业能力基准（即 MMLU）上测试了其最新模型。模型在测试中回答了涉及 57 个主题的大量问题，具体涵盖世界知识、解决实际问题以及道德判断。
根据 Inflection AI 的介绍，新模型能够访问升级后的知识库，从而更准确地回答用户查询。Inflection-2 还拥有“显著改进的推理能力”，使得模型能够更好地执行代码生成等任务，并对所生成文本的语言风格做出细粒度调整。
不只是优于前身，Inflection-2 在与竞争对手的大语言模型比较时同样表现不俗。
Inflection-2 与其他模型间的性能比较。
Suleyman 表示，Inflection-2 的性能优于业界体量领先的 700 亿参数版 Llama 2、马斯克初创公司 xAI 的 Grok-1、谷歌的 PaLM 2 Large 以及 Anthropic 的 Claude 2，目前仅落后于 GPT-4。
据 Inflection 的介绍，新模型在七项科学问答基准测试中，五次击败了 Llama 2 和 PaLM 2 模型；在三项问答任务基准测试中也两次成功登顶，只在一项测试中逊于 PaLM 2 Large。该公司还补充称，尽管模型训练并无明确的领域倾向，Inflection-2 还是在四项数学与代码基准测试中获得优异成绩，只是与 OpenAI 公布的结果相比仍远落后于 GPT-4。OpenAI 的模型虽然性能更好，但体量也要比 Inflection-2 更大，意味着其训练需要消耗更多计算资源。
Suleyman 指出，虽然似乎只有 AI 研究人员或开发者会高度关注这样的基准测试结果，但哪怕最微小的改进也足以在“技术原型”和“生产级、高可靠且高质量”模型之间形成关键差异。总的来说，Suleyman 表示 Inflection-2 已经在同等体量模型中遥遥领先，而且在很多方面已经“非常非常接近”最强王者 GPT-4。
据悉，Inflection AI 手头共掌握着 2.2 万块 H100 GPU，相当于训练 Inflection-2 的 GPU 数量的四倍有余。该公司在本次发布中强调，他们计划使用这些硬件构建更先进、体量更大的新模型。据报道，从现在开始，Inflection 已经将训练重点转移至下一代模型，预计新模型将在六个月内达到 Inflection-2 的 10 倍体量，并在接下来的六个月中进一步扩大 10 倍。（最终体量有望增长至 100 倍。）
OpenAI 管理层大乱斗，给了竞对可乘之机
就在 OpenAI 管理层大乱斗达成临时和解方案的几小时前，Suleyman 敦促公众以“同理心和宽容态度”对待那些被卷入风波的人们。他指出，“很多人的言行完全是出于善意”，还点名提到 OpenAI 联合创始人 Ilya Sutskever。Sutskever 是最初参与解雇 Altman 的董事会成员之一，但随后在周日晚间表示对这一决定感到后悔。（目前还不清楚 Sutskever 是否会继续留在 OpenAI，但他在 X 上点赞了公司及 Altman 宣布回归的帖子。）
Sutskever 曾在 2011 年为 Suleyman 工作过，时任 DeepMind 外包商兼顾问。三年之后，Suleyman 将这家 AI 初创公司卖给了谷歌。Suleyman 在谈到 Sutskever 时表示，“我非常尊重他，这种尊重不仅源自技术水平，也源自他的原则性和真诚的态度。我认为在此次事件中，他和团队中的其他成员都抱有真诚的意图。”
Inflection 和 Suleyman 此前曾就 AI 安全问题表达过明确态度，并于今年 7 月自愿签署了拜登总统下达的“关于安全、可靠和可信的 AI 行政令”。他还发誓不会让聊天机器人 Pi 回答关于选举的任何问题、或者为政治竞选活动提供材料。Suleyman 最新出版了一本名叫《袭来的浪潮》（The Coming Wave）的书，详细介绍了 AI 技术的风险。
在谈到 OpenAI 非营利董事会及其近期一系列行为、特别是因此在科技领域遭受的诽谤时，Suleyman 表示“很明显，他们犯下了一系列非常重大的错误。但我还是希望人们能够宽容一点，把这次事件视为 OpenAI 发展旅程中的一段小插曲。努力让公司变得更好、做正确的事、通过新的治理结构让全世界更美好，这些才是真正重要的工作。”
但 Suleyman 本人也秉持典型的资本家思维，在被问及 OpenAI 的困境（ChatGPT 在周一和周二两度陷入短时间瘫痪，大量客户忧心忡忡地关注着事态发展）是否给竞争对手带来了可乘之机时，他并没有予以否认。
“从根本上讲，我办的是一家企业。面对激烈的市场竞争，我们别无选择。当下也是硅谷多年以来竞争烈度最高、创造力最强的时期。”
参考链接：
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
加V：busulishang4668
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论 2 条评论