使用 Vertex AI in Firebase SDK 从应用调用 Gemini API 时， 您可以提示 Gemini 模型根据多模态输入生成文本。 多模态提示可以包含多种模态（或输入类型），例如文本以及图片、PDF、视频和音频。
如需测试和迭代多模态提示，我们建议使用 Vertex AI Studio。
准备工作
如果您还没有这样做，请完成 Vertex AI in Firebase SDK 入门指南。 请确保您已完成以下所有操作：
设置一个新的 Firebase 项目或现有 Firebase 项目，包括使用 Blaze 定价方案并启用所需的 API。
将您的应用与 Firebase 相关联，包括注册应用并将 Firebase 配置添加到应用中。
添加 SDK 并初始化 Vertex AI 服务和生成模型 。
将应用连接到 Firebase、添加 SDK 并初始化 Vertex AI 服务和生成式模型后，您就可以调用 Gemini API 了。
根据文本和单张图片生成文本
确保您已完成准备工作 部分，然后再尝试此示例。
您可以使用包含文本和单个文件（例如图片，如本例所示）的多模态提示调用 Gemini API。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。
支持的文件包括图片、PDF、视频、音频等。 请务必查看 输入文件的要求和建议。
选择你想逐字逐句给出回答 (generateContentStream) 还是等待
直到生成完整结果 (generateContent)。
在线播放
通过不等待来自 API 的整个结果， 而是改用流式传输来处理部分结果。
不直播
或者，您也可以等待整个结果，而不是流式传输； 结果仅在模型完成整个生成过程后返回 过程。
了解如何选择 Gemini 模型 以及可选的地理位置 适合您的用例和应用。
根据文本和多张图片生成文本
确保您已完成准备工作 部分，然后再尝试此示例。
您可以使用包含以下内容的多模态提示来调用 Gemini API 文本和多个文件（比如图片，如此示例中所示）。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。
支持的文件包括图片、PDF、视频、音频等。 请务必查看输入文件的要求和建议。
选择你想逐字逐句给出回答 (generateContentStream) 还是稍等
直到生成完整结果 (generateContent)。
在线播放
您可以通过不等待模型生成的完整结果，而是使用流式处理部分结果，从而实现更快的互动。
不直播
或者，您也可以等待整个结果，而不是流式传输；只有在模型完成整个生成过程后，才会返回结果。
了解如何选择 Gemini 模型 以及可选的地理位置 适合您的用例和应用。
通过文本和视频生成文本
确保您已完成准备工作 部分，然后再尝试此示例。
您可以使用包含文本和单个视频的多模态提示调用 Gemini API（如以下示例所示）。对于这些 则需使用支持多模态提示的模型 （如 Gemini 1.5 Pro）。
请务必查看 输入文件的要求和建议。
选择是流式传输回答 (generateContentStream)，还是等待系统生成完整结果 (generateContent)。
在线播放
通过不等待来自 API 的整个结果， 而是改用流式传输来处理部分结果。
不直播
或者，您也可以等待整个结果，而不是流式传输；只有在模型完成整个生成过程后，才会返回结果。
了解如何选择适合您的用例和应用的 Gemini 模型和（可选）位置。
针对输入文件的要求和建议
要了解支持的文件类型、如何指定 MIME 类型，以及如何将 请确保您的文件和多模态请求符合要求，并遵循 最佳做法，请参阅 Vertex AI Gemini API 支持的输入文件和要求。
您还可以做些什么？
- 了解如何在向模型发送长提示之前计算令牌数。
- 设置 Cloud Storage for Firebase 以便在多模态请求中包含大型文件 Cloud Storage 个网址。文件可能包括图片、PDF 文件、视频和音频。
- 开始考虑为正式版做好准备，包括设置 Firebase App Check，以保护 Gemini API 免遭未经授权的客户端滥用。
试用Gemini API的其他功能
了解如何控制内容生成
您还可以使用 Vertex AI Studio 对提示和模型配置进行实验。
详细了解 Gemini 模型
了解适用于各种用例的模型及其配额和价格。提供反馈 分享您对Vertex AI in Firebase的体验