使用 Gemini API，根據多模態提示生成文字

iOS 以上版本 Android 網頁 Flutter 。

預先發布版： Vertex AI for Firebase 目前為預先發布版，表示產品 不適用於任何服務水準協議或廢止政策，且 回溯不相容的方法。

使用 Vertex AI for Firebase SDK 從應用程式呼叫 Gemini API 時， 就能提示 Gemini 模型根據多模態輸入內容生成文字 多模態提示可以包含多個模式 (或輸入類型)， 例如文字、圖片、PDF、影片和音訊

如要測試及疊代多模態提示，建議使用 Vertex AI Studio

Gemini API 的其他使用選項

• 您可以選擇在伺服器端呼叫 Vertex AI Gemini API 伺服器端 方法是使用 伺服器端 Vertex AI SDK 或 Gemini API 適用的 Firebase 擴充功能。

• 您也可以選擇其他的「Google AI」新版 免付費的 Gemini API (在設有限制且可使用時) Google AI Studio 和 Google AI SDK。

  如果選擇使用 Google AI 工具和服務，以及 Firebase， 建議您採取以下做法：

  • 請不要將 Google AI Studio 和 Google AI SDK 與 正式版應用程式使用的 Firebase 專案。
  • 熟悉 Gemini API 的運作方式後 遷移至 Vertex AI for Firebase SDK 還有許多對行動和網頁應用程式至關重要的功能 例如使用 Google AI 技術 Firebase App Check：

事前準備

如果您尚未完成 Vertex AI for Firebase SDK 入門指南。 請確認您已完成下列所有步驟：

• 設定新的或現有的 Firebase 專案，包括使用 Blaze 定價方案並啟用必要的 API。

• 將應用程式連結至 Firebase，包括註冊應用程式及新增 為應用程式啟用 Firebase 設定。

• 新增 SDK，並初始化 Vertex AI 服務和生成式模型 。

將應用程式連結至 Firebase 後，加入 SDK 並初始化 以及生成式模型 你準備好呼叫 Gemini API 了

• 使用文字和單一圖片來生成文字
• 使用文字和多張圖片來生成文字
• 使用文字和影片來生成文字

注意： 本頁面的範例說明如何在內嵌資料中加入小型檔案 。不過，如果您想納入檔案 要求大小超過 20 MB，或是如果想使用更受管理的 如要在提示中提供檔案，請查看 使用 Cloud Storage for Firebase 網址的解決方案指南。

使用文字和單一圖片來生成文字

請確認您已完成事前準備 部分。

您可以使用含有以下內容的多模態提示呼叫 Gemini API： 文字和單一檔案 (如圖片所示)，如本範例所示。對於這些 呼叫，您需要使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案包括圖片、PDF、影片、音訊等。 請務必詳閱 輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁 Flutter 。

選擇要串流回覆 (generateContentStream) 或等待 ，直到產生全部結果 (generateContent) 為止。

逐句顯示回覆

與其等待完整的結果 產生模型，改為使用串流處理部分結果

這個範例說明如何使用 generateContentStream() 串流產生的串流 多模態提示要求中的文字和一張圖片：

不串流播放

您也可以等待完整的結果，而不要串流處理。這個 只有在模型完成完整生成後，才會傳回結果 上傳資料集之後，您可以運用 AutoML 自動完成部分資料準備工作

本範例說明如何使用 generateContent() 從 包含文字和單一圖片的多模態提示要求：

瞭解如何選擇 Gemini 模型 以及可選擇的位置 選擇適合您的用途和應用程式

使用文字和多張圖片來生成文字

請確認您已完成事前準備 部分。

您可以使用含有以下內容的多模態提示呼叫 Gemini API： 文字和多個檔案 (例如圖片，如本範例所示)。對於這些 呼叫，您需要使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案包括圖片、PDF、影片、音訊等。 請務必詳閱 輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁 Flutter 。

選擇要串流回覆 (generateContentStream) 或等待 ，直到產生全部結果 (generateContent) 為止。

逐句顯示回覆

與其等待完整的結果 產生模型，改為使用串流處理部分結果

這個範例說明如何使用 generateContentStream() 串流產生的串流 多模態提示要求中的文字和多張圖片：

不串流播放

或者，您也可以等待整個結果，而不是等待 串流；只有在模型完成整個 產生程序

本範例說明如何使用 generateContent() 從 內含文字和多張圖片的多模態提示要求：

瞭解如何選擇 Gemini 模型 以及可選擇的位置 選擇適合您的用途和應用程式

從文字和影片生成文字

請確認您已完成事前準備 部分。

您可以使用含有以下內容的多模態提示呼叫 Gemini API： 文字和單一影片 (如這個範例所示)對於這些 呼叫，您需要使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

請務必詳閱 輸入檔案的需求條件和建議。

iOS 以上版本 Android 網頁 Flutter 。

選擇要串流回覆 (generateContentStream) 或等待 ，直到產生全部結果 (generateContent) 為止。

逐句顯示回覆

與其等待完整的結果 產生模型，改為使用串流處理部分結果

這個範例說明如何使用 generateContentStream() 串流產生的串流 多模態提示要求中的文字：

不串流播放

您也可以等待完整的結果，而不要串流處理。這個 只有在模型完成完整生成後，才會傳回結果 上傳資料集之後，您可以運用 AutoML 自動完成部分資料準備工作

本範例說明如何使用 generateContent() 從 包含文字和單一影片的多模態提示要求：

瞭解如何選擇 Gemini 模型 以及可選擇的位置 選擇適合您的用途和應用程式

輸入檔案的需求條件和建議

如要瞭解系統支援的檔案類型、如何指定 MIME 類型，以及如何建立 確認您的檔案和多模態要求符合相關規定，並 最佳做法，請參閱 Vertex AI Gemini API 支援的輸入檔案和規定。

注意： 以 Vertex AI for Firebase SDK 來說，要求大小上限為 20 MB。如果要求過大，您會收到 HTTP 413 錯誤。

如果檔案大小會導致要求總大小超過 20 MB，則 使用 Cloud Storage for Firebase 網址在多模態要求中加入檔案。 不過，如果檔案較小，通常可以透過內嵌資料直接傳遞 (如以上範例所示)。不過請注意，以內嵌方式提供的檔案 傳輸中的資料經過編碼為 base64，因此會增加要求的大小。

您還能做些什麼？

• 瞭解如何計算符記數量 然後再將較長的提示傳送至模型
• 設定 Cloud Storage for Firebase ，方便您在多模態要求中納入大型檔案 Cloud Storage 網址。包括圖片、PDF、影片和音訊。
• 開始思考如何準備發布內容，包括 設定 Firebase App Check ，防止 Gemini API 遭到未經授權的用戶端濫用。

試用 Gemini API 的其他功能

• 建立多輪對話 (即時通訊)。
• 生成文字來源 純文字提示。
• 使用函式呼叫功能連線 生成式模型到外部系統和資訊

瞭解如何控管內容生成功能

• 瞭解提示設計，包括 最佳做法、策略和提示範例
• 設定模型參數，例如 溫度和輸出符記
• 使用安全性設定調整 可能獲得有害回應的機率

您也可以使用 Vertex AI Studio

進一步瞭解 Gemini 模型

進一步瞭解 適用於各種用途 和 配額與定價。

提供意見 您對 Vertex AI for Firebase 的使用體驗