编程能力超强、还支持 100 多种语言，谷歌将在开发者大会上发布“巨型巴德”PaLM 2

谷歌正在为开发人员提供其最先进的人工智能语言模型之一：PaLM。

据报道，当地时间周三，谷歌将举行“谷歌 I/O”年度开发者大会，AI 将成此次大会的中心议题。谷歌将会对外发布一系列有关生成式 AI 的产品技术成果，包括一个用途更广泛的大型语言模型 (LLM)。

内部文件显示，谷歌将在这次大会上对外发布最新版本、也是技术最先进的大型语言模型“PaLM 2”，这个语言模型支持全球 100 多种语言，之前已经在谷歌内部进行试验，测试代号是“统一语言模型（Unified Language Model）”。据悉，这一语言模型“智商更高”，已经能够编写软件代码，完成数学考试，也能够完成创意作文和分析方面的测试。而就在不久前，谷歌刚宣布要将Bard 的轻量级 LaMDA 模型升级为更大规模的 PaLM 模型，所以 Bard 也会相应地在处理常识推理和编程问题等任务时能力更强。

在这次大会上，谷歌宣传 AI 的一个主题是“AI 如何帮助人类实现全部潜能”，该公司也将宣布有关的产品更新，其中包括网页搜索以及 AI 对话工具 Bard 的更多生成式功能。

谷歌及其母公司 Alphabet 首席执行官 Sundar Pichai 将向现场的开发者发表演讲，介绍该公司在人工智能领域取得的进步。

谷歌此次更新正值人工智能领域的竞争加剧之际，该公司和微软都在竞相将聊天人工智能技术融入自己的产品中。微软正在利用对 ChatGPT 创建者 OpenAI 的投资来支持其必应搜索引擎，而谷歌也迅速行动起来，试图在不同的团队中整合其 Bard 技术，并推出自己的 LLM。

有文件显示，谷歌还计划分享 Bard 和搜索方面取得的进展，提供所谓的“生成式体验”，包括将 Bard 用于编码、数学和“逻辑”。另一份内部文件显示，谷歌还在内部开发了一个名为“Multi-Bard”的多模态模型版本，它使用了更大的数据集，可以帮助解决复杂的数学和编码问题。此外，谷歌还测试了名为“Big Bard”和“Giant Bard”的版本。

谷歌大模型的代码生成能力

CNBC 报道称，PaLM 2 的发布将是大会的一个重要的组成部分。

谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。PaLM 的应用在这一年取得了很大的进展，今年 3 月，该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具，称这将帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。上个月，谷歌称其名为“Med-PaLM 2”的医学 LLM 可以回答“专家医生级别”的医学检查问题，准确率达 85%。

 PaLM 是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型。可对比 Bard 的 LaMDA 模型，它使用了 1370 亿个参数进行训练。为了训练这个模型，谷歌动用了 6144 块 TPU，让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。

去年谷歌还发布了长达 83 页的 Pathways 系统论文，论文作者阵容很强大，还包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上说，这个项目花了 1 年多的时间，跨了多个部门（基础架构、数据、硬件等）。

强大的系统和算力投入带来了惊艳的结果，PaLM 在许多非常困难的任务上显示出了突破性的能力，包括语言理解、生成、推理和代码等相关任务。

PaLM 使用英语和多语言数据集进行训练，包括高质量的 web 文档、书籍、维基百科、对话和 GitHub 代码。研究者还创建了一个“无损（lossless）”词汇表，它保留了所有空格（对于代码来说尤其重要），将词汇表之外的 Unicode 字符拆分成字节，并将数字拆分成单独的 token，每个 token 对应一个数字。

因此，PaLM 在许多非常困难的任务上显示出突破性的能力。

在需要多步骤算术或常识推理的推理任务上，PaLM 能解决 GSM8K 中 58% 的问题，这是一个包含数千个具有挑战性的小学水平数学问题的基准，这个得分接近 60% 的 9 到 12 岁儿童解决问题的水平。

在代码生成方面，在给定自然语言描述（文本到代码）的情况下编写代码，PaLM 能很好地将代码从一种语言翻译成另一种语言，以及修复编译错误（代码到代码）。

相对小模型，大模型可以更好地从其他编程语言和自然语言数据中实现迁移学习，所以具有 540B 参数的 PaLM 在单个模型中显示了横跨编码任务和自然语言任务的强大性能，即使它在预训练数据集中只有 5% 的代码。

另外，谷歌还通过在纯 Python 代码数据集上微调 PaLM ，将模型性能进一步提高，谷歌称之为 PaLM-Coder。

对于给定的“DeepFix 示例代码”修复任务，谷歌研究人员想让大模型修改损坏的 C 程序，直到可以编译成功，PaLM-Coder 540B 展示了令人印象深刻的性能，实现了 82.1% 的编译率。这为修复软件开发过程中出现的更复杂的错误提供了机会。

PaLM-Coder 将编译错误（左图，红色）修复为可编译的代码版本（右图）。

将新的大模型接入 Bard

今年三月，谷歌首席执行官 Sundar Pichai 在接受 Hard Fork 播客节目采访时表示，Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。

在此之前，Bard 只可以回答一些基本的编程问题，例如如何打印“Hello World”，但如果用户想要了解更高级的编程概念或技巧，Bard 就会遇到困难。Pichai 说：“我们想让 Bard 能够教你如何编程，而不仅仅是给你一些代码片段。”

为了实现这些，Pichai 表示，Bard 有必要接入更大的语言模型。接入 PaLM 模型后，Bard 在处理常识推理和编程问题等任务时能力会表现得更强，Pichai 将之形容为“把一辆改装过的思域汽车放在了与更强大的汽车的比赛中”。

谷歌每年一度的开发者大会“谷歌 I/O”将于 5 月 10 日上午 10 点至下午 1 点（太平洋时间）举行，我们将继续关注谷歌 Bard 的动态，特别是关于大型模型编程语言能力提升方面的进展。

参考链接：

https://www.cnbc.com/2023/05/08/google-io-to-feature-ai-updates-showing-off-palm-2-llm.html

https://m.thepaper.cn/newsDetail_forward_22559226

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html