使用 Gemini API,根據多模態提示生成文字


使用 Vertex AI in Firebase SDK 從應用程式呼叫 Gemini API 時, 就能提示 Gemini 模型根據多模態輸入內容生成文字 多模態提示可以包含多個模式 (或輸入類型), 例如文字、圖片、PDF、影片和音訊

如要測試及疊代多模態提示,建議使用 Vertex AI Studio

事前準備

如果您尚未完成 Vertex AI in Firebase SDK 入門指南。 請確認您已完成下列所有步驟:

  1. 設定新的或現有的 Firebase 專案,包括使用 Blaze 定價方案並啟用必要的 API。

  2. 將應用程式連結至 Firebase,包括註冊應用程式,以及將 Firebase 設定新增至應用程式。

  3. 新增 SDK,並初始化 Vertex AI 服務和生成式模型 。

將應用程式連結至 Firebase、新增 SDK 並初始化 Vertex AI 服務和生成模型後,您就可以呼叫 Gemini API

,瞭解如何調查及移除這項存取權。

使用文字和單一圖片來生成文字

請先完成本指南的「事前準備」一節,再嘗試使用這個範例。

您可以使用含有文字和單一檔案 (例如圖片,如本範例所示) 的多模態提示呼叫 Gemini API。對於這些 呼叫,您需要使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案格式包括圖片、PDF、影片、音訊等。請務必詳閱 輸入檔案的需求條件和建議

選擇要串流回應 (generateContentStream),還是等待回應產生完整結果 (generateContent)。

逐句顯示回覆

您可以不等待模型產生的完整結果,改用串流處理部分結果,藉此加快互動速度。

不使用串流

或者,您可以等待整個結果,而不是串流;只有在模型完成整個產生程序後,系統才會傳回結果。

瞭解如何選擇適合用途和應用程式的 Gemini 模型,以及選用位置

使用文字和多張圖片生成文字

請先完成本指南的「事前準備」一節,再嘗試使用這個範例。

您可以使用包含以下內容的多模態提示呼叫 Gemini API: 文字和多個檔案 (例如圖片,如本範例所示)。針對這些呼叫,您必須使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

支援的檔案格式包括圖片、PDF、影片、音訊等。請務必詳閱 輸入檔案的需求條件和建議

請選擇要串流回應 (generateContentStream),還是等待回應產生完整結果 (generateContent)。

逐句顯示回覆

您可以不等待模型產生的完整結果,改用串流處理部分結果,藉此加快互動速度。

不串流播放

或者,您也可以等待整個結果,而不是串流;結果只會在模型完成整個產生程序後傳回。

瞭解如何選擇 Gemini 模型 以及可選擇的位置 選擇適合您的用途和應用程式

使用文字和影片生成文字

請先完成本指南的「事前準備」一節,再嘗試使用這個範例。

您可以使用包含以下內容的多模態提示呼叫 Gemini API: 文字和單一影片 (如這個範例所示)對於這些 呼叫,您需要使用支援多模態提示的模型 (例如 Gemini 1.5 Pro)。

請務必詳閱輸入檔案的規定和建議

請選擇要串流回應 (generateContentStream),還是等待回應產生完整結果 (generateContent)。

逐句顯示回覆

與其等待完整的結果 產生模型,改為使用串流處理部分結果

不串流播放

或者,您可以等待整個結果,而不是串流;只有在模型完成整個產生程序後,系統才會傳回結果。

瞭解如何選擇 Gemini 模型 以及可選擇的位置 選擇適合您的用途和應用程式

輸入檔案的規定和建議

如要瞭解支援的檔案類型、如何指定 MIME 類型,以及如何確保檔案和多模態要求符合規定並遵循最佳做法,請參閱「支援的輸入檔案和 Vertex AI Gemini API 的相關規定」。

您還能做些什麼?

試試 Gemini API 的其他功能

瞭解如何控管內容生成功能

您也可以使用 Vertex AI Studio 嘗試使用提示和模型設定。

進一步瞭解 Gemini 模型

瞭解可用於各種用途的模型,以及相關配額和定價


針對 Vertex AI in Firebase 的使用體驗提供意見回饋