Firebase Vertex AI SDK 简化基于 Gemini 的移动应用开发

目前处于测试阶段的 Firebase Vertex AI SDK 可以让用户开发出超越简单聊天模型和文本提示词的应用程序。谷歌最近提供了一个 colab 来帮助开发者完成将 SDK 集成到应用程序所需的步骤。

新推出的 colab 涵盖了多个核心主题，包括如何设计有效的提示词、设置集成了 Vertex AI 的 Firebase 项目、配置 Android Studio 项目环境，以及如何利用 Kotlin 将这些功能整合到你的代码中。

谷歌工程师 Thomas Ezan 解释说，开发者可以使用 Vertex AI Studio 来打造高效的提示词，这是一个云端的工具，专为快速构建和测试与 Gemini 模型提示词而设计。

Vertex AI 的一项特性旨在简化开发者的工作流，让他们能够更加轻松地定制应用程序的行为，这一特性就是系统指令。

系统指令相当于用户提示词之前的“序言”，确保模型的行为能够与具体的需求和应用场景保持一致。

通过使用系统指令，开发者能够一次性设定所需的输出风格或语调、角色或身份（比如“解释给五岁的孩子听”）、任务目标或规则（例如“直接返回代码片段，无需额外解释”），以及任何与应用程序用户相关的附加上下文。

系统指令在初始化时进行设置，如下面的代码示例：

val generativeModel = Firebase.vertexAI.generativeModel(  modelName = "gemini-1.5-flash",  ...  systemInstruction =     content { text("You are a knowledgeable tutor. Answer the questions using the socratic tutoring method.") })

SDK 还允许开发者指定生成输出的 responseMimeType。比如，在生成 JSON 格式的输出时，这一功能有助于排除所有非 JSON 格式的内容，这非常实用。

Ezan 指出，将 Gemini API 集成到移动应用程序中，并不仅限于提供对话界面，这要归功于 Gemini 的多模态能力。实际上，Gemini 能够处理文本以外的多种输入类型，包括图像、音频和视频。这意味着，例如，你可以为图片生成标题、为音频文件创建摘要、描述视频场景等。

Ezan 着重介绍了另一个强大的功能：创建函数来增强模型的能力。比如，可以设计一个函数从 SQL 数据库读取数据，并将其融入到提示词的上下文中。另外，你还可以定义一组工具，让模型利用这些工具来生成输出，如下图表所示。

在这里，模型通过两次调用你的数据，获取日期和订单列表，来回答用户提出的问题。

Firebase Vertex AI 为这些特性提供了良好的支持，开发者可以自由选择他们最熟悉的编程语言，如 Swift、Kotlin、Flutter 和 JavaScript，来使用这些特性。

Firebase Vertex AI SDK 为 Android 和 iOS 开发者提供直接访问 Gemini API 的能力，不再需要使用 Python、Java 或 Go 编写的中间后端服务层。

查看原文链接：

https://www.infoq.com/news/2024/10/vertex-ai-firebase-gemini/