AI 機能の費用、使用量、その他の指標をモニタリングすることは、本番環境アプリの実行において重要な要素です。アプリの通常の使用パターンがどのようになっているかを把握して、重要なしきい値を超えないようにする必要があります。
このページでは、費用、使用量、 その他の指標をFirebaseコンソールとGoogle Cloudコンソールの両方でモニタリングするための推奨オプションについて説明します。
費用をモニタリングする
[使用量と請求額]ダッシュボード で、プロジェクトの Vertex AI Gemini APIとGemini Developer APIの呼び出しにかかる費用を確認できます( Blaze お支払いプランの場合)。Firebase
ダッシュボードに表示される費用は、呼び出しに固有のものではありません。必ずしも Firebase AI Logic クライアント SDK を使用しています。表示される費用は、いずれかの「Gemini API」への呼び出しに関連付けられます。これらの呼び出しは、Firebase AI Logic クライアント SDK、Google GenAI サーバー SDK、Genkit、Firebase Extensions 用 Gemini API、REST 呼び出し、AI Studio のいずれか、またはその他の API クライアントを使用しているかどうかにかかわらず発生します。
Firebase AI Logic の使用に関連するプロダクトの料金について詳しくは、こちらをご覧ください。Firebase AI Logic
アラートの設定
予期しない請求が発生しないように、Blaze のお支払いプランを使用している場合は、 予算アラートを設定 してください。
予算アラートは予算の上限ではありません。アラートは、構成したしきい値に近づいた場合や超えた場合に通知を送信します。これにより、アプリやプロジェクトで対応できます。
Firebase コンソールで AI 機能の使用状況を確認する
Firebase AI Logic ページの Firebase コンソールで AI モニタリングを有効にすると、さまざまなアプリレベルの指標と使用状況 を確認して、 Firebase AI Logic クライアント SDK からのリクエストを包括的に把握できます。これらのダッシュボードは、 Count Tokens API の呼び出しから取得できる基本的なトークン数よりも 詳細です。
コンソールの AI モニタリングの主な機能は次のとおりです。Firebase
リクエスト数、レイテンシ、エラー、各モーダリティのトークン使用量など、各アプリの定量的な指標を表示します。
トレースを検査して、リクエストの属性、入力、出力を確認します。これは、デバッグと品質の向上に役立ちます。
リクエスト ステータス、最小レイテンシ、モデル名などのディメンションでデータをスライスします。
これらの機能はすべて、Google Cloud Observability Suite を使用して構築されています( 詳細な商品情報については、以下をご覧ください)。
AI モニタリングを有効にする
Firebase コンソールで AI モニタリングを有効にする方法は次のとおりです。 Firebase
から最初のガイド付き設定ワークフローを実行する場合 [AI Services] > Firebase AI Logic ページ
[AI サービス] > [AI Logic] > [設定] タブでいつでも
AI モニタリングを有効にして使用するための要件:
プロジェクトのオーナー、編集者、または Firebase Vertex AI 管理者である必要があります。
アプリでは、少なくとも次の Firebase ライブラリ バージョンを使用する必要があります:
iOS+: v11.13.0 以降 | Android: v16.0.0 以降(BoM: v33.14.0 以降)| ウェブ: v11.8.0 以降 | Flutter: v2.0.0 以降(BoM: v3.11.0 以降)| Unity: v12.9.0 以降アプリでオプトイン データの収集が有効になっている必要があります(デフォルトで有効になっています)。
アプリがこれらの要件を満たし、コンソールで AI モニタリングを有効にすると、[AI サービス] > [AI Logic] >[AI モニタリング] タブのダッシュボードにデータが表示されるようになります。アプリやコンソールで他の操作を行う必要はありません。リクエストのテレメトリーが Firebase コンソールで使用できるようになるまでに、わずかな遅延(最大 5 分)が発生する場合があります。
高度な使い方
このセクションでは、サンプリング レートの構成と、データの表示と操作のさまざまなオプションについて説明します。
サンプリング レート
多数のリクエストを行っている場合は、サンプリング レートの構成を利用することをおすすめします。サンプリング レートは、トレースの詳細が実際に収集されるリクエストの割合を示します。
[AI サービス] > [AI Logic] > [設定] タブ Firebase コンソールで、プロジェクトのサンプリング レートを 1 ~ 100% の値に構成できます。100% の場合、AI モニタリングは すべてのトラフィックからトレースを収集します。デフォルトは 100% です。収集するトレースを減らすと費用は削減されますが、モニタリングできるトレースの数も減ります。サンプリング レートに関係なく、モニタリング ダッシュボードに表示されるグラフには常に実際のトラフィック量が反映されます。
Firebase コンソール以外の追加オプション
Firebase コンソールで利用できる AI モニタリングに加えて、次のオプションも検討してください。
Vertex AI Model Garden を確認する。
これらのダッシュボードでは、マネージド モデルのレイテンシとスループットに関する傾向をさらに把握できます。 これにより、Firebase コンソールの AI モニタリングから得られる分析情報を補完できます。Google Cloud Observability Suite
AI モニタリングのテレメトリー データは、プロジェクトに関連付けられた Google Cloud Observability Suite に保存されます。Firebase コンソールで個々のトレースを検査すると、 Trace Explorer や Logs Explorer などのダッシュボードでデータを探索できます。また、このデータを使用して、カスタム ダッシュボードの作成やアラートの設定などを行うこともできます。
AI モニタリングに使用されるプロダクトの詳細
AI monitoring stores your telemetry data in various products available in Google Cloud Observability Suite, including Cloud Monitoring, Cloud Trace, and Cloud Logging.
Cloud Monitoring: リクエスト数、 成功率、リクエスト レイテンシなどの指標を保存します。
Cloud Trace: 各リクエストのトレースを保存します。これにより、 集計ではなく個別に詳細を確認できます。通常、トレースはログに関連付けられているため、各インタラクションの内容とタイミングを確認できます。
Cloud Logging: 入力、出力、構成メタデータをキャプチャして、 AI リクエストの各部分に関する詳細情報を提供します。
テレメトリー データはこれらのプロダクトに保存されるため、各プロダクト内で 保持期間とアクセス設定を直接指定できます(詳しくは、 ドキュメントで Cloud Monitoring、 Cloud Trace 、および Cloud Loggingをご覧ください)。
AI モニタリングは、各サンプリング リクエストの実際のプロンプトと生成された出力を Cloud Loggingに保存するため、このデータは Firebaseコンソールでアクセスできます。必要に応じて、 プロンプトとレスポンスの保存を無効にすることもできます。
料金
無料の Spark お支払いプランのプロジェクト ( Gemini Developer APIを使用する場合のみ利用可能): AI モニタリングの基盤となるサービスの使用は無料です。
従量課金制の Blaze お支払いプランのプロジェクト: AI モニタリングで使用する基盤となる Google Cloud Observability Suite プロダクトの使用量に対して課金されます(選択した Gemini API プロバイダに関係なく)。ただし、各 Google Cloud Observability Suite プロダクトには、無料枠が豊富に用意されています。詳しくは、 Google Cloud Observability Suite の料金に関するドキュメントをご覧ください。
(省略可)プロンプトとレスポンスの保存を無効にする
デフォルトでは、AI モニタリングは、モデルに送信された実際のプロンプトと モデルによって生成されたレスポンスをキャプチャします。これには、プロンプトとレスポンスに含まれる機密情報( 個人情報(PII)など)も含まれます。このデータはすべて Cloud Logging に保存されるため、 Firebase コンソールでアクセスできます。
プロンプトとレスポンスの保存を無効にするには、次の
除外フィルタを
Cloud Loggingシンク(
_Defaultシンクが一般的です)に追加します。
resource.type="firebasevertexai.googleapis.com/Model"
Google Cloud コンソールでプロジェクト レベルの API 指標を表示する
各 API について、 Google Cloud コンソールでプロジェクト レベルの指標(使用量など)を表示できます。
このセクションで説明する Google Cloud コンソールのページには、リクエストとレスポンスのコンテンツやトークン数などの情報は含まれません 。 このような情報をモニタリングするには、 コンソールで AI モニタリングを使用することを検討してくださいFirebase (前のセクションをご覧ください)。
Google Cloud コンソールで、表示する API の [Metrics] ページに移動します。
Vertex AI API : へのリクエストに関連付けられた使用状況を表示します。 Vertex AI Gemini API
- Firebase AI Logic クライアント SDK、 Google GenAI サーバー SDK、Genkit、Firebase Extensions Gemini API 用、REST API、Vertex AI Studio などを使用するリクエストが含まれます。
Gemini Developer API: any リクエストに関連付けられた使用状況を表示します Gemini Developer API。
- Firebase AI Logic クライアント SDK、 Google GenAI サーバー SDK、Genkit、Firebase Extensions 用 Gemini API、REST API、Google AI Studio などを使用するリクエストが含まれます。
- この API の Google Cloud コンソール での表示名は「Generative Language API」です。
API の「概要」ページが表示されたら、 [**管理**] をクリックし、[**指標**] タブをクリックします。
プルダウン メニューを使用して、レスポンス コード別のトラフィック、API メソッド別のエラー、全体的なレイテンシ、API メソッド別のレイテンシなど、関心のある指標を表示します。