Surveiller les coûts, l'utilisation et d'autres métriques

La surveillance des coûts, de l'utilisation et d'autres métriques de vos fonctionnalités d'IA est un élément important de l'exécution d'une application de production. Vous devez connaître les modèles d'utilisation normaux de votre application et vous assurer de respecter les seuils qui vous intéressent.

Cette page décrit certaines options recommandées pour surveiller vos coûts, votre utilisation, et d'autres métriques dans la Firebase console et la Google Cloud console.

Surveiller les coûts

Dans le tableau de bord Utilisation et facturation de la console Firebase, vous pouvez consulter les coûts de votre projet pour appeler l' Vertex AI Gemini API et l'Gemini Developer API (lorsque vous utilisez le forfait Blaze).

Les coûts affichés dans le tableau de bord ne sont pas nécessairement spécifiques aux appels utilisant les Firebase AI Logic clients SDK. Les coûts affichés sont associés à tous les appels vers ces "API Gemini", qu'ils utilisent les Firebase AI Logic clients SDK, les SDK serveur Google GenAI, Genkit, les Firebase Extensions pour l' Gemini API, les appels REST, l'un des AI Studios ou d'autres clients d'API.

En savoir plus sur les tarifs des produits associés à votre utilisation de Firebase AI Logic.

Configurer les alertes

Pour éviter les mauvaises surprises sur votre facture, assurez-vous de configurer des alertes budgétaires lorsque vous utilisez le forfait Blaze.

Notez que les alertes budgétaires ne sont pas des limites budgétaires. Une alerte vous enverra des communications lorsque vous approchez ou dépassez le seuil configuré afin que vous puissiez prendre des mesures dans votre application ou votre projet.

Observer l'utilisation de vos fonctionnalités d'IA dans la Firebase console

Vous pouvez activer AI Monitoring sur la page Firebase AI Logic de la console Firebase pour observer diverses métriques et utilisations au niveau de l'application afin d'obtenir une visibilité complète sur vos requêtes à partir des SDK clients Firebase AI Logic. Ces tableaux de bord sont plus détaillés que le nombre de jetons de base que vous obtenez à partir d'un appel à l' API Count Tokens.

Remarque : AI Monitoring dans la console Firebase est disponible pour les requêtes adressées aux Gemini et Imagen modèles lorsque vous utilisez les Firebase AI Logic clients. Toutefois, AI Monitoring n'est pas compatible avec les appels aux modèles Gemini Live API.

Voici les principales fonctionnalités d'AI Monitoring dans la console Firebase :

• Affichage de métriques quantitatives telles que le volume de requêtes, la latence, les erreurs et l'utilisation de jetons par modalité pour chacune de vos applications.

• Inspection des traces pour afficher les attributs, les entrées et les sorties de vos requêtes, ce qui peut vous aider à déboguer et à améliorer la qualité.

• Segmentation des données par dimensions telles que l'état de la requête, la latence minimale, le nom du modèle, etc.

Toutes ces fonctionnalités sont conçues à l'aide de Google Cloud Observability Suite (voir les informations détaillées sur le produit ci-dessous).

Activer AI Monitoring

Tous nos documents supposent que vous utilisez les dernières versions des Firebase AI Logic SDK.

Voici comment activer AI Monitoring dans la Firebase console :

• Lorsque vous suivez le workflow de configuration guidée initiale à partir de la Firebase AI Logic page

• À tout moment dans l' Firebase AI Logic onglet Paramètres

Conditions requises pour activer et utiliser AI Monitoring :

• Vous devez être propriétaire, éditeur ou administrateur Firebase Vertex AI du projet.

• Votre application doit utiliser au minimum les versions suivantes de la bibliothèque Firebase :
  iOS+ : v11.13.0+ | Android : v16.0.0+ (BoM : v33.14.0+) | Web : v11.8.0+ | Flutter : v2.0.0+ (BoM : v3.11.0+) | Unity : v12.9.0+

• La collecte de données avec consentement doit être activée dans votre application (elle est activée par défaut).

Une fois que votre application répond à ces exigences et que vous activez AI Monitoring dans la console, vous n'avez rien d'autre à faire dans votre application ni dans la console pour commencer à voir les données remplir les tableaux de bord de l'onglet Firebase AI Logic AI Monitoring. Il peut y avoir un léger délai (parfois jusqu'à cinq minutes) avant que la télémétrie de une requête ne soit disponible dans la Firebase console.

Utilisation avancée

Cette section décrit la configuration du taux d'échantillonnage, ainsi que différentes options pour afficher et utiliser vos données.

Taux d'échantillonnage

Si vous effectuez un grand nombre de requêtes, nous vous recommandons de profiter de la configuration du taux d'échantillonnage. Le taux d'échantillonnage indique la proportion de requêtes pour lesquelles les détails des traces sont réellement collectés.

Dans l' Firebase AI Logiconglet Paramètres de la console Firebase, vous pouvez configurer le taux d'échantillonnage de votre projet sur une valeur comprise entre 1 et 100 %, où 100 % signifie qu'AI Monitoring collectera les traces de l'ensemble de votre trafic. La valeur par défaut est de 100 %. La collecte de moins de traces réduira vos coûts, mais aussi le nombre de traces que vous pourrez surveiller. Notez que, quel que soit votre taux d'échantillonnage, les graphiques affichés dans le tableau de bord de surveillance refléteront toujours le volume de trafic réel.

Autres options en dehors de la console Firebase

En plus d'AI Monitoring disponible dans la console Firebase, vous pouvez envisager les options suivantes :

• Explorez Vertex AI Model Garden.
  Ces tableaux de bord fournissent des insights supplémentaires sur les tendances en matière de latence et de débit pour les modèles gérés, en complément de vos insights issus d'AI Monitoring dans la Firebase console.

• Explorez et utilisez vos données avec Google Cloud Observability Suite
  Étant donné que les données de télémétrie pour AI Monitoring sont stockées dans Google Cloud Observability Suite associé à votre projet, vous pouvez explorer vos données dans ses tableaux de bord, y compris Trace Explorer et Logs Explorer, qui sont liés lorsque vous inspectez vos traces individuelles dans la console Firebase. Vous pouvez également utiliser vos données pour créer des tableaux de bord personnalisés, configurer des alertes, etc.

Informations détaillées sur les produits utilisés pour AI Monitoring

AI Monitoring stocke vos données de télémétrie dans différents produits disponibles dans Google Cloud Observability Suite, y compris Cloud Monitoring, Cloud Trace, et Cloud Logging.

• Cloud Monitoring : stocke les métriques, y compris le nombre de requêtes, le taux de réussite et la latence des requêtes.

• Cloud Trace : stocke les traces de chacune de vos requêtes afin que vous puissiez afficher les détails individuellement, au lieu d'un agrégat. Une trace est généralement associée à des journaux afin que vous puissiez examiner le contenu et le timing de chaque interaction.

• Cloud Logging : capture les métadonnées d'entrée, de sortie et de configuration pour fournir des informations détaillées sur chaque partie de votre requête d'IA.

Étant donné que vos données de télémétrie sont stockées dans ces produits, vous pouvez spécifier vos paramètres de conservation et d'accès directement dans chaque produit (pour en savoir plus, consultez la documentation de Cloud Monitoring, Cloud Trace , et Cloud Logging).

Notez qu'AI Monitoring stocke les réels prompts et la sortie générée de chaque requête échantillonnée dans Cloud Logging afin que ces données soient accessibles dans la Firebase console. Vous pouvez éventuellement désactiver le stockage des prompts et des réponses.

Important : Si vous utilisez l'ancrage avec la recherche Google, il vous incombe de vous assurer que la période de conservation, ou toute période personnalisée que vous définissez, correspond pleinement à votre cas d'utilisation spécifique et à toute exigence de conformité supplémentaire pour le fournisseur que vous avez choisi : Gemini Developer API ou Vertex AI Gemini API (voir la section Conditions d'utilisation du service dans les Conditions spécifiques au service).Gemini API Vous devrez peut-être ajuster la période de conservation dans Cloud Logging pour répondre à ces exigences.

Tarifs

• Projets avec le forfait Spark sans frais (disponible uniquement lorsque vous utilisez l' Gemini Developer API) : l'utilisation des services sous-jacents pour AI Monitoring est sans frais.

• Projets avec le forfait Blaze avec paiement à l'usage: l'utilisation des produits sous-jacents utilisés par AI Monitoring vous sera facturée (quel que soit le fournisseur Gemini API que vous avez choisi).Google Cloud Observability Suite Toutefois, chaque Google Cloud Observability Suite produit dispose de niveaux sans frais généreux. Pour en savoir plus, consultez la documentation sur les tarifs Google Cloud Observability Suite.

(Facultatif) Désactiver le stockage des prompts et des réponses

Par défaut, AI Monitoring capture les prompts réels envoyés au modèle et les réponses générées par le modèle, y compris les informations sensibles (telles que les informations permettant d'identifier personnellement l'utilisateur) dans ces prompts et réponses. Toutes ces données sont stockées dans Cloud Logging afin qu'elles soient accessibles dans la Firebase console.

Pour désactiver le stockage des prompts et des réponses, ajoutez le filtre d'exclusion suivant à votre Cloud Logging récepteur (généralement le récepteur _Default): resource.type="firebasevertexai.googleapis.com/Model".

Afficher les métriques d'API au niveau du projet dans la console Google Cloud

Pour chaque API, vous pouvez afficher des métriques au niveau du projet, telles que l'utilisation, dans la Google Cloud console.

Notez que les pages de la console Google Cloud décrites dans cette section n'incluent pas d'informations telles que le contenu des requêtes et des réponses, ainsi que le nombre de jetons. Pour surveiller ce type d'informations, envisagez d'utiliser AI Monitoring dans la Firebase console (voir la section précédente).

1. Dans la console Google Cloud, accédez à la page Métriques de l'API que vous souhaitez afficher :

   • Vertex AI API : affichez l'utilisation associée à toute requête adressée à Vertex AI Gemini API.

     • Inclut les requêtes utilisant Firebase AI Logic clients SDK, les SDK serveur Google GenAI, Genkit, les Firebase Extensions pour l' Gemini API, l'API REST, Vertex AI Studio, etc.

   • Gemini Developer API : affichez l'utilisation associée à toute requête adressée à Gemini Developer API.

     • Inclut les requêtes utilisant les Firebase AI Logic clients SDK, les SDK serveur Google GenAI, Genkit, les Firebase Extensions pour l'API Gemini API, l'API REST, Google AI Studio, etc.
     • Le nom à afficher de cette API dans la Google Cloud console est "API Generative Language".

   Si vous vous trouvez sur une "page de présentation" de l'API, cliquez sur Gérer, puis sur l'onglet Métriques.

   Remarque : Dans la console Google Cloud, vous pouvez également afficher les métriques au niveau du projet pour l'API Firebase AI Logic, qui est le service proxy de Firebase AI Logic. Ces métriques ne reflètent les requêtes que des Firebase AI Logic SDK clients.

2. Utilisez les menus déroulants pour afficher les métriques qui vous intéressent, telles que le trafic par code de réponse, les erreurs par méthode d'API, la latence globale et la latence par méthode d'API.