在多模式请求中包含大型文件，以及使用 Cloud Storage for Firebase 管理文件

使用 Vertex AI in Firebase SDK 从应用调用 Gemini API 时，您可以提示 Gemini 模型根据多模态输入生成文本。多模态提示可以包含多种模态（或多种输入类型），例如文本以及图片、PDF、视频和音频。

对于输入的非文本部分（例如媒体文件），您可以选择使用 Cloud Storage for Firebase 在请求中添加文件。下面简要介绍了此功能的相关信息：

  • 您可以将 Cloud Storage for Firebase 用于任何多模态请求（例如文本生成和聊天）。本指南中的示例展示了基本文本和图片输入。

  • 您可以在请求输入中指定文件的 MIME 类型及其 Cloud Storage for Firebase 网址（始终以 gs:// 开头）。这些值是系统自动为上传到 Cloud Storage 存储桶的任何文件分配的元数据。

  • 您需要使用受支持的文件类型和网址。


本解决方案指南介绍了如何设置 Cloud Storage for Firebase，从应用将文件上传到 Cloud Storage for Firebase 存储分区，然后在向 Gemini API 发送的多模态请求中包含该文件的 MIME 类型和 Cloud Storage for Firebase 网址。

您想查看代码示例吗？或者，您是否已设置 Cloud Storage for Firebase，并准备开始将其与多模态请求搭配使用？

跳转到代码示例

为什么要在应用中使用 Cloud Storage for Firebase？

Cloud Storage for Firebase 使用与 Google Cloud Storage 相同的快速、安全和可扩缩的基础架构来存储 blob 和文件，其客户端 SDK 专为移动应用和 Web 应用而构建。

对于 Vertex AI in Firebase SDK，请求大小上限为 20 MB。 如果请求过大，您会收到 HTTP 413 错误。如果文件的大小会导致请求总大小超过 20 MB，请使用 Cloud Storage for Firebase 网址将该文件添加到多模式请求中。 不过，如果文件较小，您通常可以直接将其作为内嵌数据传递（不过请注意，以内嵌数据形式提供的文件会在传输过程中编码为 base64，这会增加请求的大小）。

使用 Cloud Storage for Firebase 还有以下一些好处：

  • 您可以让最终用户直接从您的应用将图片上传到 Cloud Storage for Firebase 存储桶，然后只需指定文件的 MIME 类型和 Cloud Storage for Firebase 网址（即文件的标识符），即可在多模式提示中添加这些图片。

  • 如果最终用户需要提供图片，您可以为他们节省时间和带宽，尤其是在网络质量较差或不稳定的情况下。

    • 如果文件上传或下载中断，Cloud Storage for Firebase SDK 会自动从上次中断的位置重新开始执行操作。
    • 上传的同一文件可多次使用，这样最终用户就不必每次在您的应用中需要时都上传同一文件（例如在新的多模式请求中）。

  • 您可以使用 Firebase Security Rules 来限制最终用户对存储在 Cloud Storage for Firebase 中的文件的访问权限，仅允许已获授权的用户上传、下载或删除文件。

  • 您可以通过 Firebase 或 Google Cloud 访问存储分区中的文件，从而灵活地使用 Google Cloud Storage API 执行服务器端处理，例如图片过滤或视频转码。

支持哪些类型的文件和网址？

如果您要将 Cloud Storage for Firebase 网址与 Vertex AI in Firebase SDK 搭配使用，请按以下方式对文件和网址的要求：

  • 使用 Vertex AI in Firebase SDK 时，该文件必须满足多模式请求的输入文件要求。这包括 MIME 类型和文件大小等要求。

  • 该文件必须存储在 Cloud Storage for Firebase 存储分区中（这意味着 Firebase 服务（例如 Firebase Security Rules）可以访问该存储分区）。如果您可以在 Firebase 控制台中查看您的存储分区，则说明该存储分区是 Cloud Storage for Firebase 存储分区。

  • Cloud Storage for Firebase 存储分区必须位于您注册应用时所用的 Firebase 项目中。

  • 文件的 Cloud Storage for Firebase 网址必须以 gs:// 开头，这是构建所有 Google Cloud Storage 网址的方式。

  • 文件的网址不能是“浏览器”网址（例如，您在互联网上找到的图片的网址）。

此外，存储分区的 Firebase Security Rules 必须允许对文件进行适当的访问。例如：

  • 如果您使用的是公开规则，则任何用户或客户端都可以访问该文件，并使用 Vertex AI in Firebase SDK 在调用中提供其网址。这类规则仅应在刚开始使用时和早期原型设计阶段使用（除非文件实际上是完全可供公开访问的文件）。

  • 如果您设置了强大的规则（强烈建议），Firebase 会先检查已登录的用户或客户端是否对文件拥有足够的访问权限，然后再允许使用所提供的网址完成调用。

将 Cloud Storage for Firebase 网址与 Vertex AI in Firebase 搭配使用

第 1 步：设置 Cloud Storage for Firebase

您可以在 Cloud Storage for Firebase 的入门指南中找到有关设置和使用 Cloud Storage for Firebase 的详细说明。

前往 Cloud Storage for Firebase 入门指南

以下是您需要完成的高级任务：

  1. 在 Firebase 项目中创建一个 Cloud Storage for Firebase 存储分区。

    如果您的 Google Cloud 项目中已经有一个要与 Vertex AI in Firebase 搭配使用的 Cloud Storage 存储分区，您可以将存储分区“导入”Firebase，使其可供 Firebase 服务（包括 Vertex AI in Firebase）访问。

  2. 将“Firebase Security Rules”应用到此存储分区。Firebase Security Rules 只允许经过授权的最终用户访问，从而帮助您保护文件。

  3. 将 Cloud Storage for Firebase 的客户端库添加到您的应用。

    请注意，您可以跳过此任务，但之后必须始终 在多模式请求中明确添加 MIME 类型和 Cloud Storage for Firebase 网址值。

第 2 步：将文件上传到存储分区

在 Cloud Storage for Firebase 文档中，您可以了解将文件上传到 Cloud Storage for Firebase 存储桶的所有不同方法。例如，您可以上传最终用户设备上的本地文件，如相机中的照片和视频。

当您将文件上传到存储分区时，Cloud Storage 会自动将以下两项信息应用于该文件。您需要在多模式请求中添加这些值（如本指南的下一步所示）。

  • MIME 类型：这是文件的媒体类型（例如 image/png）。Cloud Storage for Firebase 将在上传过程中自动尝试检测 MIME 类型，并将该元数据应用于存储分区中的对象。不过，您可以在上传时选择指定 MIME 类型。

  • Cloud Storage for Firebase 网址：这是文件的唯一标识符。网址必须以 gs:// 开头。

第 3 步：在多模态请求中包含文件的 MIME 类型和网址

将文件存储在 Cloud Storage for Firebase 存储桶中后，您可以在多模式请求中添加其 MIME 类型和 Cloud Storage for Firebase 网址。请注意，这些示例显示的是非流式 generateContent 请求，但您也可以将 Cloud Storage for Firebase 网址用于流式传输和聊天。

如需在请求中添加该文件，您可以使用以下任一选项：

方法 1：使用 Storage 引用添加 MIME 类型和网址

如果您刚刚将文件上传到存储分区，并且希望立即在多模式请求中通过 Storage 引用添加该文件，请使用此选项。该调用同时需要 MIME 类型和 Cloud Storage for Firebase 网址。

Kotlin+KTX

对于 Kotlin，此 SDK 中的方法是挂起函数，需要从协程作用域调用。 
// Upload an image file using Cloud Storage for Firebase.
val storageRef = Firebase.storage.reference.child("images/image.jpg")
val fileUri = Uri.fromFile(File("image.jpg"))
try {
    val taskSnapshot = storageRef.putFile(fileUri).await()
    // Get the MIME type and Cloud Storage for Firebase file path.
    val mimeType = taskSnapshot.metadata?.contentType
    val bucket = taskSnapshot.metadata?.bucket
    val filePath = taskSnapshot.metadata?.path

    if (mimeType != null && bucket != null) {
        // Construct a URL in the required format.
        val storageUrl = "gs://$bucket/$filePath"
        // Construct a prompt that includes text, the MIME type, and the URL.
        val prompt = content {
            fileData(mimeType = mimeType, uri = storageUrl)
            text("What's in this picture?")
        }
        // To generate text output, call generateContent with the prompt.
        val response = generativeModel.generateContent(prompt)
        println(response.text)
    }
} catch (e: StorageException) {
    // An error occurred while uploading the file.
} catch (e: GoogleGenerativeAIException) {
    // An error occurred while generating text.
}

Java

对于 Java，此 SDK 中的方法会返回 ListenableFuture。 
// Upload an image file using Cloud Storage for Firebase.
StorageReference storage = FirebaseStorage.getInstance().getReference("images/image.jpg");
Uri fileUri = Uri.fromFile(new File("images/image.jpg"));

storage.putFile(fileUri).addOnSuccessListener(taskSnapshot -> {
    // Get the MIME type and Cloud Storage for Firebase file path.
    String mimeType = taskSnapshot.getMetadata().getContentType();
    String bucket = taskSnapshot.getMetadata().getBucket();
    String filePath = taskSnapshot.getMetadata().getPath();

    if (mimeType != null && bucket != null) {
        // Construct a URL in the required format.
        String storageUrl = "gs://" + bucket + "/" + filePath;
        // Create a prompt that includes text, the MIME type, and the URL.
        Content prompt = new Content.Builder()
                .addFileData(storageUrl, mimeType)
                .addText("What's in this picture?")
                .build();

        // To generate text output, call generateContent with the prompt.
        GenerativeModelFutures modelFutures = GenerativeModelFutures.from(model);
        ListenableFuture<GenerateContentResponse> response = modelFutures.generateContent(prompt);
        Futures.addCallback(response, new FutureCallback<>() {
            @Override
            public void onSuccess(GenerateContentResponse result) {
                String resultText = result.getText();
                System.out.println(resultText);
            }

            @Override
            public void onFailure(@NonNull Throwable t) {
                t.printStackTrace();
            }
        }, executor);
    }
}).addOnFailureListener(e -> {
    // An error occurred while uploading the file.
    e.printStackTrace();
});

方案 2：明确添加 MIME 类型和网址

如果您知道 MIME 类型和 Cloud Storage for Firebase 网址的值，并且希望在多模式请求中明确添加这些值，请使用此选项。该调用需要同时提供 MIME 类型和网址。

Kotlin+KTX

对于 Kotlin，此 SDK 中的方法是挂起函数，需要从协程作用域调用。 
// Construct a prompt that explicitly includes the MIME type and Cloud Storage for Firebase URL values.
val prompt = content {
    fileData(mimeType = "image/jpeg", uri = "gs://bucket-name/path/image.jpg")
    text("What's in this picture?")
}
// To generate text output, call generateContent with the prompt.
val response = generativeModel.generateContent(prompt)
println(response.text)

Java

对于 Java，此 SDK 中的方法会返回 ListenableFuture。 
// Construct a prompt that explicitly includes the MIME type and Cloud Storage for Firebase URL values.
Content prompt = new Content.Builder()
        .addFilePart("gs://bucket-name/path/image.jpg", "image/jpeg")
        .addText("What's in this picture?")
        .build();

// To generate text output, call generateContent with the prompt
GenerativeModelFutures modelFutures = GenerativeModelFutures.from(model);
ListenableFuture<GenerateContentResponse> response = modelFutures.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        String resultText = result.getText();
        System.out.println(resultText);
    }

    @Override
    public void onFailure(@NonNull Throwable t) {
        t.printStackTrace();
    }
}, executor);