使用 Gemini API 透過多模態提示產生文字

iOS 以上版本 Android 網頁版 Flutter

預先發布版： Vertex AI for Firebase 目前為預先發布版，也就是說，產品不適用任何服務水準協議或廢止政策，且可能會以回溯不相容的方式變更。

使用 Vertex AI for Firebase SDK 從應用程式呼叫 Gemini API 時，您可以提示 Gemini 模型根據多模態輸入內容生成文字。多模態提示可以包含多種形式 (或輸入內容類型)，例如文字、圖片、PDF、影片和音訊。

如要測試及疊代多模態提示，建議使用 Vertex AI Studio。

Gemini API 的其他使用選項

• 您可以使用伺服器端 Vertex AI SDK 或 Gemini API 適用的 Firebase 擴充功能，視需要呼叫 Vertex AI Gemini API 伺服器端。

• 您也可以選用 Gemini API 的替代「Google AI」版本，透過 Google AI Studio 和 Google AI SDK 免費使用 (如果適用的話，不超過限制且可使用)。

  如果選擇使用 Google AI 工具、服務和 Firebase，建議您執行以下操作：

  • 請不要將 Google AI Studio 和 Google AI SDK 與正式版應用程式所用的 Firebase 專案搭配使用。
  • 熟悉 Gemini API 的運作方式後，請改用 Vertex AI for Firebase SDK，其中包含許多行動和網頁應用程式的重要功能，例如使用 Firebase App Check 防止 API 遭到濫用。

事前準備

如果您尚未閱讀 Vertex AI for Firebase SDK 入門指南，請先完成這項操作。請確認您已完成下列所有步驟：

• 設定新的或現有的 Firebase 專案，包括使用 Blaze 定價方案，並啟用必要的 API。

• 將應用程式連結至 Firebase，包括註冊應用程式以及將 Firebase 設定新增至應用程式。

• 新增 SDK，並在應用程式中初始化 Vertex AI 服務和生成式模型。

將應用程式連結至 Firebase、新增 SDK，並初始化 Vertex AI 服務和生成式模型後，就能呼叫 Gemini API。

• 使用文字和單一圖片來生成文字
• 使用文字和多張圖片來生成文字
• 使用文字和影片來生成文字

注意： 本頁中的範例說明如何在要求中以內嵌資料的形式加入小型檔案。但如果您想加入的檔案，導致總要求大小超過 20 MB，或是想透過更代管的解決方案在提示中提供檔案，請參閱使用 Cloud Storage for Firebase 網址的解決方案指南。

使用文字和單一圖片來生成文字

嘗試這個範例之前，請確認您已完成本指南的「事前準備」一節。

您可以使用包含文字和單一檔案 (例如圖片) 的多模態提示呼叫 Gemini API，如本例所示。如要進行這類呼叫，您必須使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案包括圖片、PDF、影片、音訊等。 請務必詳閱輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁版 Flutter

選擇要串流回應 (generateContentStream)，或是等待回應直到產生完整結果 (generateContent) 為止。

逐句顯示回覆

您不必等待模型生成的所有結果，而是改用串流處理部分結果，達到更快的互動。

以下範例說明如何使用 generateContentStream() 串流，從包含文字和單張圖片的多模態提示要求中產生的文字：

不串流播放

您也可以等待整個結果，而非串流；只有在模型完成整個產生程序後才會傳回結果。

以下範例說明如何使用 generateContent()，透過包含文字和一張圖片的多模態提示要求生成文字：

瞭解如何根據用途和應用程式需求，選擇 Gemini 模型，以及選擇合適的位置。

使用文字和多張圖片來生成文字

嘗試這個範例之前，請確認您已完成本指南的「事前準備」一節。

您可以使用包含文字和多個檔案 (如圖片) 的多模態提示來呼叫 Gemini API。如要進行這類呼叫，您必須使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案包括圖片、PDF、影片、音訊等。 請務必詳閱輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁版 Flutter

選擇要串流回應 (generateContentStream)，或是等待回應直到產生完整結果 (generateContent) 為止。

逐句顯示回覆

您不必等待模型生成的所有結果，而是改用串流處理部分結果，達到更快的互動。

以下範例說明如何使用 generateContentStream() 串流，從包含文字和多張圖片的多模態提示要求中產生的文字：

不串流播放

或者，您也可以等待整個結果而非串流；只有在模型完成整個產生程序後才會傳回結果。

以下範例說明如何使用 generateContent()，透過包含文字和多張圖片的多模態提示要求生成文字：

瞭解如何根據用途和應用程式需求，選擇 Gemini 模型，以及選擇合適的位置。

從文字和影片生成文字

嘗試這個範例之前，請確認您已完成本指南的「事前準備」一節。

您可以使用包含文字和單一影片的多模態提示呼叫 Gemini API (如範例所示)。如要進行這類呼叫，您必須使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

請務必詳閱輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁版 Flutter

選擇要串流回應 (generateContentStream)，或是等待回應直到產生完整結果 (generateContent) 為止。

逐句顯示回覆

您不必等待模型生成的所有結果，而是改用串流處理部分結果，達到更快的互動。

以下範例說明如何使用 generateContentStream() 串流，從包含文字和單一影片的多模態提示要求中產生的文字：

不串流播放

您也可以等待整個結果，而非串流；只有在模型完成整個產生程序後才會傳回結果。

以下範例說明如何使用 generateContent()，透過包含文字和單一影片的多模態提示要求產生文字：

瞭解如何根據用途和應用程式需求，選擇 Gemini 模型，以及選擇合適的位置。

輸入檔案的需求條件和建議

如要瞭解支援的檔案類型、如何指定 MIME 類型，以及如何確保檔案和多模態要求符合需求和遵循最佳做法，請參閱「Vertex AI Gemini API 支援的輸入檔案和規定」。

注意： 以 Vertex AI for Firebase SDK 來說，要求大小上限為 20 MB。如果要求過大，您會收到 HTTP 413 錯誤。

如果檔案大小會導致要求總大小超過 20 MB，請使用 Cloud Storage for Firebase 網址，將檔案納入多模態要求中。但是，如果檔案較小，您通常還是可以以內嵌資料的形式直接傳遞 (如上述範例所示)。請注意，以內嵌資料的形式提供的檔案會編碼為採用 base64 編碼，因此會增加要求的大小。

您還能做些什麼？

• 請先瞭解如何計算符記，再將較長的提示傳送至模型。
• 設定 Cloud Storage for Firebase，以便在使用 Cloud Storage 網址的多模態要求中加入大型檔案，其中包含圖片、PDF、影片和音訊。
• 開始思考如何做好發布準備，包括設定 Firebase App Check，防止 Gemini API 遭到未經授權的用戶端濫用。

試用 Gemini API 的其他功能

• 建構多輪對話 (即時通訊)。
• 使用純文字提示來生成文字。
• 使用函式呼叫將生成式模型連結至外部系統和資訊。

瞭解如何控管內容生成功能

• 瞭解提示設計，內容包括最佳做法、策略和提示範例。
• 設定模型參數，例如隨機性參數和輸出分詞數量上限。
• 使用安全性設定調整收到可能視為有害回應的機率。

您也可以使用 Vertex AI Studio 測試提示和模型設定。

進一步瞭解 Gemini 模型

瞭解不同用途適用的模型及配額與定價。

針對 Vertex AI for Firebase 使用體驗提供意見回饋