Supervisa los costos, el uso y otras métricas

Supervisar los costos, el uso y otras métricas de tus funciones basadas en IA es una parte importante de la ejecución de una app de producción. Debes saber cómo se ven los patrones de uso normales para tu app y asegurarte de cumplir con los umbrales importantes para ti.

En esta página, se describen algunas opciones recomendadas para supervisar tus costos, uso y otras métricas en la consola de Firebase y la consola de Google Cloud.

Supervisa los costos

En el panel Uso y facturación de Firebase console, puedes ver los costos de tu proyecto por llamar a Vertex AI Gemini API y Gemini Developer API (cuando usas el plan de precios Blaze).

Los costos que se muestran en el panel no son necesariamente específicos para las llamadas que usan los SDKs del cliente de Firebase AI Logic. Los costos que se muestran se asocian con cualquier llamada a esas "APIs de Gemini", ya sea que se usen los SDKs de cliente de Firebase AI Logic, los SDKs de servidor de GenAI de Google, Genkit, Firebase Extensions para Gemini API, llamadas a la API de REST, uno de los AI Studios o cualquier otro cliente de API.

Obtén más información sobre los precios de los productos asociados con tu uso de Firebase AI Logic.

Configurar las alertas

Para evitar facturas inesperadas, asegúrate de configurar alertas de presupuesto cuando estés en el plan de precios Blaze.

Ten en cuenta que las alertas de presupuesto no son límites de presupuesto. Una alerta te enviará comunicaciones cuando te acerques o superes el umbral configurado para que puedas tomar medidas en tu app o proyecto.

Observa el uso de tus funciones potenciadas por IA en Firebase console

Solo está disponible cuando usas Vertex AI Gemini API como tu proveedor de la API.

Puedes habilitar la supervisión de IA en la página Firebase AI Logic de la consola de Firebase para observar varias métricas a nivel de la app y el uso, y obtener visibilidad integral de tus solicitudes desde los SDKs de cliente de Firebase AI Logic. Estos paneles son más detallados que los recuentos básicos de tokens que obtienes con una llamada a la API de Count Tokens.

Nota: La supervisión de IA en la consola de Firebase está disponible para las solicitudes a los modelos de Gemini cuando se usan los SDKs de cliente de Firebase AI Logic con Vertex AI Gemini API. Sin embargo, aún no admite llamadas a los modelos Gemini Live API ni a los modelos Imagen.

Entre las capacidades clave de la supervisión de IA en la consola de Firebase, se incluyen las siguientes:

• Ver métricas cuantitativas, como el volumen de solicitudes, la latencia, los errores y el uso de tokens por modalidad para cada una de tus apps

• Inspeccionar los registros para ver los atributos, las entradas y las salidas de tus solicitudes, lo que puede ayudar con la depuración y la mejora de la calidad

• Segmentar los datos por dimensiones, como el estado de la solicitud, la latencia mínima, el nombre del modelo y mucho más

Todas estas funciones se compilan con Google Cloud Observability Suite (consulta la información detallada del producto a continuación).

Habilitar AI Monitoring

En esta guía, se supone que usas los SDKs de Firebase AI Logic más recientes. Si aún usas los SDKs "Vertex AI in Firebase", consulta la guía de migración.

Estas son las formas en que puedes habilitar el monitoreo con IA en la consola de Firebase:

• Cuando sigues el flujo de trabajo de configuración guiada inicial desde la página Firebase AI Logic

• En cualquier momento en la pestaña Firebase AI Logic Configuración

Requisitos para habilitar y usar AI Monitoring:

• Debes ser propietario, editor o administrador de Firebase Vertex AI del proyecto.

• Tu proyecto de Firebase debe tener el plan de precios Blaze de pago por uso (consulta la información detallada del producto a continuación).

• Debes usar Vertex AI Gemini API como tu proveedor de API (pronto estará disponible la compatibilidad con Gemini Developer API).

• Tu app debe usar como mínimo estas versiones de la biblioteca de Firebase:
  iOS+: v11.13.0 y versiones posteriores | Android: v16.0.0 y versiones posteriores (BoM: v33.14.0 y versiones posteriores) | Web: v11.8.0 y versiones posteriores | Flutter: v2.0.0 y versiones posteriores (BoM: v3.11.0 y versiones posteriores) | Unity: v12.9.0 y versiones posteriores

• Tu app debe tener habilitada la recopilación de datos con consentimiento (esta opción está habilitada de forma predeterminada).

Una vez que tu app cumpla con estos requisitos y habilites la supervisión de IA en la consola, no necesitarás hacer nada más en tu app ni en la consola para comenzar a ver los datos en los paneles de la pestaña Firebase AI Logic Supervisión de IA. Es posible que haya un pequeño retraso (a veces, de hasta 5 minutos) antes de que la telemetría de una solicitud esté disponible en la consola de Firebase.

Uso avanzado

En esta sección, se describe la configuración de la frecuencia de muestreo, así como las diferentes opciones para ver y trabajar con tus datos.

Tasa de muestreo

Si realizas una gran cantidad de solicitudes, te recomendamos que aproveches la configuración de la frecuencia de muestreo. La tasa de muestreo indica la proporción de solicitudes para las que se recopilan datos.

En la pestaña Configuración de Firebase AI Logic de la consola de Firebase, puedes configurar la tasa de muestreo de tu proyecto con un valor del 1 al 100%, en el que el 100% enviará todo tu tráfico a la supervisión de IA. El valor predeterminado es 100%. Enviar más tráfico aumentará la precisión de tus métricas, pero también aumentará el costo de supervisión. Ten en cuenta que los gráficos que se muestran en el panel de supervisión se basan en tu frecuencia de muestreo, por lo que, si esta es del 50%, debes duplicar la cantidad de solicitudes, el uso de tokens, etcétera, para estimar el volumen real.

Opciones adicionales fuera de la consola de Firebase

Además de la supervisión de IA disponible en la consola de Firebase, considera estas opciones:

• Explora Vertex AI Model Garden.
  Estos paneles proporcionan estadísticas de tendencias adicionales sobre la latencia y el procesamiento de los modelos administrados, lo que complementa las estadísticas de la supervisión de IA en la consola de Firebase.

• Explora y usa tus datos con Google Cloud Observability Suite
  . Como los datos de telemetría para la supervisión de la IA se almacenan en Google Cloud Observability Suite asociado a tu proyecto, puedes explorar tus datos en sus paneles, incluidos Trace Explorer y Logs Explorer, a los que se vincula cuando inspeccionas tus seguimientos individuales en la consola de Firebase. También puedes usar tus datos para crear paneles personalizados, configurar alertas y mucho más.

Información detallada sobre los productos que se usan para la supervisión de la IA

La supervisión de IA almacena tus datos de telemetría en varios productos disponibles en Google Cloud Observability Suite, incluidos Cloud Monitoring, Cloud Trace y Cloud Logging.

• Cloud Monitoring: Almacena métricas, incluida la cantidad de solicitudes, la tasa de éxito y la latencia de las solicitudes.

• Cloud Trace: Almacena registros de cada una de tus solicitudes para que puedas ver los detalles de forma individual, en lugar de agregada. Por lo general, un registro de seguimiento se asocia con los registros para que puedas examinar el contenido y el tiempo de cada interacción.

• Cloud Logging: Captura metadatos de entrada, salida y configuración para proporcionar detalles enriquecidos sobre cada parte de tu solicitud de IA.

Dado que tus datos de telemetría se almacenan en estos productos, puedes especificar la configuración de retención y acceso directamente en cada producto (obtén más información en la documentación de Cloud Monitoring, Cloud Trace y Cloud Logging). Ten en cuenta que las instrucciones reales y el resultado generado de cada solicitud muestreada se almacenan junto con las métricas.

Precios

Google Cloud Observability Suite es un servicio pagado, por lo que tu proyecto de Firebase debe tener el plan de precios Blaze de pago por uso. Sin embargo, cada producto tiene niveles sin costo generosos. Obtén más información en la documentación de precios de Google Cloud Observability Suite.

Consulta las métricas de la API a nivel del proyecto en la consola de Google Cloud

Para cada API, puedes ver las métricas a nivel del proyecto, como el uso, en la consola de Google Cloud.

Ten en cuenta que las páginas de la consola de Google Cloud que se describen en esta sección no incluyen información como el contenido de la solicitud y la respuesta, y el recuento de tokens. Para supervisar ese tipo de información, considera usar la supervisión de IA en la consola de Firebase (consulta la sección anterior).

1. En la consola de Google Cloud, ve a la página Métricas de la API que deseas ver:

   • API de Vertex AI: Consulta el uso asociado a cualquier solicitud a Vertex AI Gemini API.

     • Incluye solicitudes que usan los SDKs de cliente Firebase AI Logic, los SDKs de servidor de IA generativa de Google, Genkit, el Firebase Extensions para el Gemini API, la API de REST, Vertex AI Studio, etcétera.

   • Gemini Developer API: Consulta el uso asociado a cualquier solicitud al Gemini Developer API.

     • Incluye solicitudes que usan los SDKs de cliente de Firebase AI Logic, los SDKs de servidor de GenAI de Google, Genkit, el Firebase Extensions para el Gemini API, la API de REST, Google AI Studio, etcétera.
     • El nombre visible de esta API en la consola de Google Cloud es "API de Generative Language".

   Si te encuentras en una "página de descripción general" de la API, haz clic en Administrar y, luego, en la pestaña Métricas.

   Nota: En la consola de Google Cloud, también puedes ver las métricas a nivel del proyecto para la API de Firebase AI Logic, que es el servicio de proxy para Firebase AI Logic. Estas métricas reflejarán las solicitudes solo de los SDKs cliente de Firebase AI Logic.

2. Usa los menús desplegables para ver las métricas que te interesan, como el tráfico por código de respuesta, los errores por método de API, la latencia general y la latencia por método de API.