Vertex AI in Firebase SDK を使用してアプリから Gemini API を呼び出すときに、マルチモーダル入力に基づいてテキストを生成するように Gemini モデルにプロンプトを出すことができます。マルチモーダル プロンプトには、テキスト、画像、PDF、動画、音声など、複数のモダリティ（または入力タイプ）を含めることができます。
マルチモーダル プロンプトのテストと反復処理には、Vertex AI Studio を使用することをおすすめします。
始める前に
まだ行っていない場合は、Vertex AI in Firebase SDK のスタートガイドを完了してください。以下の手順をすべて完了していることを確認します。
Blaze お支払いプランの使用や必要な API の有効化など、新規または既存の Firebase プロジェクトを設定します。
アプリの登録や Firebase 構成をアプリに追加します。
SDK を追加し、アプリで Vertex AI サービスと生成モデルを初期化します。
アプリを Firebase に接続して SDK を追加し、 Vertex AI サービスと生成モデル Gemini API を呼び出す準備が整いました。
テキストと 1 つの画像からテキストを生成する
始める前にを セクションをご覧ください。
Gemini API は、次のようなマルチモーダル プロンプトで呼び出すことができます。 テキストと 1 つのファイル（この例に示す画像など）の両方が含まれます。対象 マルチモーダル プロンプトをサポートするモデルを使用する必要があります。 （Gemini 1.5 Pro など）。
サポートされているファイルには、画像、PDF、動画、音声などがあります。入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングするか（generateContentStream）、待つかを選択します
（generateContent）。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングする代わりに、結果全体が返されるまで待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと複数の画像からテキストを生成する
始める前にを セクションをご覧ください。
Gemini API は、テキストと複数のファイル（この例の画像など）の両方を含むマルチモーダル プロンプトで呼び出すことができます。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
画像、PDF、動画、音声などがサポートされています。 入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングするか（generateContentStream）、待つかを選択します
（generateContent）。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、代わりに結果全体を待つこともできます。 ストリーミングモデルがトレーニング全体を完了した後にのみ、 プロセスです。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと動画からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと 1 つの動画の両方を含むマルチモーダル プロンプトを使用して呼び出すことができます（この例を参照）。対象 マルチモーダル プロンプトをサポートするモデルを使用する必要があります。 （Gemini 1.5 Pro など）。
レスポンスをストリーミングするか（generateContentStream）、待つかを選択します
（generateContent）。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングする代わりに、結果全体が返されるまで待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
Gemini モデルの選択方法を学習する 必要に応じてロケーション 適切なストレージクラスを選択できます
入力ファイルの要件と推奨事項
サポートされているファイル形式、MIME タイプの指定方法、MIME タイプの作成方法については、 ファイルとマルチモーダル リクエストが要件を満たしていることを確認し、 ベスト プラクティスについては、 Vertex AI Gemini API でサポートされている入力ファイルと要件。
Google アシスタントの機能
- 長いプロンプトをモデルに送信する前に、トークンをカウントする方法を学びます。
- Cloud Storage for Firebase を設定して、Cloud Storage URL を使用してマルチモーダル リクエストに大きなファイルを含めることができるようにします。ファイルには、画像、PDF、動画、音声を含めることができます。
- 不正なクライアントによる Gemini API の不正使用から保護するために Firebase App Check を設定するなど、本番環境の準備を検討します。
Gemini API のその他の機能を試す
- マルチターンの会話（チャット）を構築する。
- テキストの生成元 テキストのみのプロンプト:
- 関数呼び出しを使用して、生成モデルを外部システムと情報に接続します。
コンテンツ生成を制御する方法
- 以下を含むプロンプト設計について理解する ベスト プラクティス、戦略、プロンプトの例。
- 次のようなモデル パラメータを構成する temperature と max output トークンです。
- 安全性設定を使用して、 害を及ぼすおそれのある回答が返される可能性が高まります。
Gemini モデルの詳細
さまざまなユースケースで使用可能なモデルとその割り当てと料金について学びます。フィードバックを送信 Vertex AI in Firebase の感想をお聞かせください。