使用 Gemini API 根据多模态提示生成文本

iOS+ Android Web Flutter

预览 ：Vertex AI in Firebase 目前为预览版，这意味着相应产品 不在任何服务等级协议 (SLA) 或弃用政策的涵盖范围内， 不向后兼容的方式。

使用 Vertex AI in Firebase SDK 从应用调用 Gemini API 时， 您可以提示 Gemini 模型根据多模态输入生成文本。 多模态提示可以包括多种模态（或多种输入类型）， 例如文字、图片、PDF、视频和音频。

如需测试和迭代多模态提示，我们建议您使用 Vertex AI Studio。

使用 Gemini API 的其他选项

• （可选）尝试使用其他的“Google AI”技术的 Gemini API
  获取免费访问权限 （在限制范围内且在可能的情况下）使用 Google AI Studio 和 Google AI SDK。 这些 SDK 应仅用于在移动应用和 Web 应用中进行原型设计。

  熟悉 Gemini API 的工作原理后， 迁移到 Vertex AI in Firebase SDK， 它具有许多对移动应用和 Web 应用非常重要的额外功能， 例如使用 Firebase App Check 以及对 请求中的大型媒体文件。

• （可选）调用 Vertex AI Gemini API 服务器端
  使用 服务器端 Vertex AI SDK、 Firebase Genkit 或 Firebase Extensions（针对 Gemini API）。

准备工作

如果您还没有这样做，请完成 Vertex AI in Firebase SDK 入门指南。 请确保您已完成以下所有操作：

1. 设置一个新的或现有的 Firebase 项目，包括使用 Blaze 定价方案并启用所需的 API。

2. 将您的应用与 Firebase 相关联，包括注册应用和添加 Firebase 配置添加到您的应用。

3. 添加 SDK 并初始化 Vertex AI 服务和生成模型 。

在将您的应用连接到 Firebase、添加 SDK 并初始化 Vertex AI 服务和生成模型， 您已准备好调用 Gemini API。

• 根据文本和单张图片生成文本
• 根据文本和多张图片生成文本
• 根据文本和视频生成文本

注意： 本页面上的示例展示了如何将小文件添加为内嵌数据 。不过，如果您想加入一些文件 请求大小超过 20 MB，或者如果您希望使用更受管的 有关如何在提示中提供文件的解决方案，请参阅 有关使用 Cloud Storage for Firebase 网址的解决方案指南。

根据文本和单张图片生成文本

确保您已完成准备工作 部分，然后再尝试此示例。

您可以使用包含以下内容的多模态提示来调用 Gemini API 文本和单个文件（例如图片，如此示例中所示）。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。

支持的文件包括图片、PDF、视频、音频等。 请务必查看 输入文件的要求和建议。

iOS+ Android Web Flutter

选择你想逐字逐句给出回答 (generateContentStream) 还是稍等 直到生成完整结果 (generateContent)。

流式传输

通过不等待来自 API 的整个结果， 而是改用流式传输来处理部分结果。

不在线播放

或者，您也可以等待整个结果，而不是流式传输； 结果仅在模型完成整个生成过程后返回 过程。

了解如何选择 Gemini 模型 以及可选的地理位置 适合您的用例和应用。

根据文本和多张图片生成文本

确保您已完成准备工作 部分，然后再尝试此示例。

您可以使用包含以下内容的多模态提示来调用 Gemini API 文本和多个文件（比如图片，如此示例中所示）。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。

支持的文件包括图片、PDF、视频、音频等。 请务必查看 输入文件的要求和建议。

iOS+ Android Web Flutter

选择你想逐字逐句给出回答 (generateContentStream) 还是稍等 直到生成完整结果 (generateContent)。

流式传输

通过不等待来自 API 的整个结果， 而是改用流式传输来处理部分结果。

不在线播放

或者，您也可以等待整个结果 在线播放；那么只有在模型完成整个训练过程后， 生成过程。

了解如何选择 Gemini 模型 以及可选的地理位置 适合您的用例和应用。

根据文本和视频生成文本

确保您已完成准备工作 部分，然后再尝试此示例。

您可以使用包含以下内容的多模态提示来调用 Gemini API 文本和单个视频（如此示例中所示）。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。

请务必查看 输入文件的要求和建议。

iOS+ Android Web Flutter

选择你想逐字逐句给出回答 (generateContentStream) 还是稍等 直到生成完整结果 (generateContent)。

流式传输

通过不等待来自 API 的整个结果， 而是改用流式传输来处理部分结果。

不在线播放

或者，您也可以等待整个结果，而不是流式传输； 结果仅在模型完成整个生成过程后返回 过程。

了解如何选择 Gemini 模型 以及可选的地理位置 适合您的用例和应用。

针对输入文件的要求和建议

要了解支持的文件类型、如何指定 MIME 类型，以及如何将 请确保您的文件和多模态请求符合要求，并遵循 最佳做法，请参阅 Vertex AI Gemini API 支持的输入文件和要求。

注意 ：对于 Vertex AI in Firebase SDK，请求大小上限为 20 MB。如果请求过大，您会收到 HTTP 413 错误。

如果文件的大小使请求的总大小超过 20 MB，则 使用 Cloud Storage for Firebase 网址将文件包含在多模态请求中。 不过，如果文件很小，您通常可以将其作为内嵌数据直接传递 （如上面的示例所示）。但请注意，以内嵌方式提供的文件 数据在传输过程中会编码为 base64，这会增加请求的大小。

您还可以做些什么？

• 了解如何统计词元 然后再向模型发送长提示。
• 设置 Cloud Storage for Firebase 以便在多模态请求中包含大型文件 Cloud Storage 个网址。文件可能包括图片、PDF 文件、视频和音频。
• 开始考虑制作准备工作，包括 设置 Firebase App Check 保护 Gemini API 免遭未经授权的客户端滥用。

试用Gemini API的其他功能

• 建立多轮对话（聊天）。
• 生成文本： 纯文本提示。
• 使用函数调用进行连接 生成模型与外部系统和信息共享。

了解如何控制内容生成

• 了解提示设计，包括 最佳做法、策略和示例提示。
• 配置模型参数，例如 和最大输出词元数量。
• 使用安全设置来调整 获得可能被视为有害的响应的可能性。

您还可以使用以下方法对提示和模型配置进行实验： Vertex AI Studio。

详细了解 Gemini 模型

详细了解 适用于各种应用场景的模型 及其 配额和定价。

提供反馈 分享您对Vertex AI in Firebase的体验