Monitorar custos, uso e outras métricas

Monitorar os custos, o uso e outras métricas dos recursos de IA é uma parte importante da execução de um app de produção. Você precisa saber como são os padrões de uso normais para seu app e estar dentro dos limites importantes para você.

Esta página descreve algumas opções recomendadas para monitorar seus custos, uso, e outras métricas no console Firebase e no console Google Cloud.

Monitorar custos

No Uso e faturamento painel do console Firebase, é possível conferir os custos do projeto para chamar a Vertex AI Gemini API e a Gemini Developer API (quando você está no plano de preços Blaze).

Os custos exibidos no painel não são necessariamente específicos para chamadas que usam os SDKs do cliente Firebase AI Logic. Os custos exibidos estão associados a qualquer chamada para essas "APIs Gemini", seja usando os Firebase AI Logic do cliente, os SDKs do servidor GenAI do Google, Genkit, as Firebase Extensions para a Gemini API, chamadas REST, um dos AI Studios ou outros clientes de API.

Saiba mais sobre preços dos produtos associados ao uso de Firebase AI Logic.

Configurar alerta

Para evitar cobranças inesperadas, configure alertas de orçamento quando estiver no plano de preços Blaze.

Os alertas de orçamento não são limites de orçamento. Um alerta envia comunicações quando você está se aproximando ou ultrapassou o limite configurado para que possa tomar medidas no app ou projeto.

Observar o uso dos recursos de IA no consoleFirebase

É possível ativar o monitoramento de IA na Firebase AI Logic página do Firebase console para observar várias métricas e o uso do app e ter uma visibilidade abrangente das solicitações dos Firebase AI Logic client SDKs. Esses painéis são mais detalhados do que as contagens básicas de tokens recebidas de uma chamada para a API Count Tokens.

Observação :o AI monitoring no console Firebase está disponível para solicitações aos Gemini e modelos Imagen ao usar os SDKs do cliente Firebase AI Logic. No entanto, o monitoramento de IA não oferece suporte a chamadas para os modelos Gemini Live API.

Os principais recursos do monitoramento de IA no console Firebase incluem:

• Visualização de métricas quantitativas, como volume de solicitações, latência, erros e uso de tokens por modalidade para cada um dos seus apps.

• Inspeção de traces para conferir os atributos, entradas e saídas das solicitações, o que pode ajudar na depuração e na melhoria da qualidade.

• Segmentação de dados por dimensões, como status da solicitação, latência mínima, nome do modelo e muito mais.

Todos esses recursos são criados usando Google Cloud Observability Suite (confira informações detalhadas do produto abaixo).

Ativar o Monitoramento de IA

Todos os nossos documentos pressupõem que você está usando as versões mais recentes dos Firebase AI Logic SDKs.

Confira as maneiras de ativar o monitoramento de IA no Firebase console:

• Ao passar pelo fluxo de trabalho de configuração guiada inicial na Firebase AI Logic página

• A qualquer momento na Firebase AI Logic guia Configurações

Requisitos para ativar e usar o monitoramento de IA:

• Você precisa ser proprietário, editor ou administrador do Firebase Vertex AI do projeto.

• Seu app precisa usar pelo menos estas versões da biblioteca do Firebase:
  iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

• A coleta de dados de participação do app precisa estar ativada (ela é ativada por padrão).

Depois que o app atender a esses requisitos e você ativar o monitoramento de IA no console, não será necessário fazer mais nada no app ou no console para começar a ver os dados preencherem os painéis na guia Firebase AI Logic Monitoramento de IA. Pode haver um pequeno atraso (às vezes de até 5 minutos) antes que a telemetria de uma solicitação fique disponível no Firebase console.

Uso avançado

Esta seção descreve a configuração da taxa de amostragem, bem como diferentes opções para visualizar e trabalhar com seus dados.

Taxa de amostra

Se você estiver fazendo um grande número de solicitações, recomendamos aproveitar a configuração da taxa de amostragem. A taxa de amostragem indica a proporção de solicitações que tiveram detalhes de trace coletados.

Na guia Configurações do consoleFirebase, é possível configurar a taxa de amostragem do projeto para um valor de 1 a 100%, em que 100% significa que o AI monitoring vai coletar traces de todo o tráfego.Firebase AI Logic O padrão é 100%. A coleta de menos traces reduz os custos, mas também reduz o número de traces que podem ser monitorados. Independentemente da taxa de amostragem, os gráficos mostrados no painel de monitoramento sempre refletem o volume real de tráfego.

Outras opções fora do console Firebase

Além do monitoramento de IA disponível no Firebase console, considere estas opções:

• Conhecer o Model Garden da Vertex AI.
  Esses painéis fornecem mais insights de tendências sobre latência e capacidade de processamento para os modelos gerenciados, complementando seus insights do AI monitoring no console Firebase.

• Conhecer e usar seus dados com Google Cloud Observability Suite
  Como os dados de telemetria para monitoramento de IA são armazenados no Google Cloud Observability Suite associado ao seu projeto, é possível conferir os dados nos painéis, incluindo Trace Explorer e Logs Explorer, que são vinculados quando você inspeciona os traces individuais no console Firebase. Também é possível usar os dados para criar painéis personalizados, configurar alertas e muito mais.

Informações detalhadas sobre os produtos usados para monitoramento de IA

O monitoramento de IA armazena seus dados de telemetria em vários produtos disponíveis em Google Cloud Observability Suite, incluindo Cloud Monitoring, Cloud Trace, e Cloud Logging.

• Cloud Monitoring: armazena métricas, incluindo o número de solicitações, a taxa de sucesso e a latência da solicitação.

• Cloud Trace: armazena traces para cada uma das solicitações para que você possa conferir os detalhes individualmente, em vez de agregados. Um trace geralmente está associado a registros para que você possa examinar o conteúdo e o tempo de cada interação.

• Cloud Logging: captura metadados de entrada, saída e configuração para fornecer detalhes sobre cada parte da solicitação de IA.

Como os dados de telemetria são armazenados nesses produtos, é possível especificar as configurações de retenção e acesso diretamente em cada produto. Saiba mais na documentação do Cloud Monitoring, Cloud Trace , e Cloud Logging).

O monitoramento de IA armazena os comandos reais e a saída gerada de cada solicitação de amostra em Cloud Logging para que esses dados possam ser acessados no Firebase console. Opcionalmente, é possível desativar o armazenamento de comandos e respostas.

Importante: Se você usar embasamento com a Pesquisa Google, será sua responsabilidade garantir que o período de armazenamento ou qualquer período personalizado definido esteja totalmente alinhado ao seu caso de uso específico e a outros requisitos de conformidade para o provedor Gemini API escolhido: Gemini Developer API ou Vertex AI Gemini API (consulte a seção Termos de serviço nos Termos específicos de serviço). Talvez seja necessário ajustar o período de armazenamento em Cloud Logging para atender a esses requisitos.

Preços

• Projetos no plano de preços Spark sem custos financeiros (disponível apenas ao usar a Gemini Developer API): o uso dos serviços subjacentes para monitoramento de IA é sem custo financeiro.

• Projetos no plano de preços Blaze de pagamento por uso: você receberá cobranças pelo uso dos produtos subjacentes Google Cloud Observability Suite que o AI monitoring usa (independente do provedor Gemini API escolhido). No entanto, cada Google Cloud Observability Suite produto tem níveis generosos sem custos financeiros. Saiba mais na Google Cloud Observability Suite documentação de preços.

(Opcional) Desativar o armazenamento de comandos e respostas

Por padrão, o AI monitoring captura os comandos reais enviados ao modelo e as respostas geradas por ele, incluindo informações sensíveis (como informações de identificação pessoal (PII)) nesses comandos e respostas. Todos esses dados são armazenados em Cloud Logging para que possam ser acessados no Firebase console.

Para desativar o armazenamento de comandos e respostas, adicione o filtro de exclusão a seguir ao Cloud Logging coletor (normalmente o coletor _Default): resource.type="firebasevertexai.googleapis.com/Model".

Conferir métricas de API no nível do projeto no console Google Cloud

Para cada API, é possível conferir métricas no nível do projeto, como o uso, no Google Cloud console.

Observe que as páginas do console Google Cloud descritas nesta seção não incluem informações como conteúdo de solicitação e resposta e contagem de tokens. Para monitorar esse tipo de informação, use o monitoramento de IA no Firebase console (consulte a seção anterior).

1. No console Google Cloud, acesse a página Métricas da API que você quer conferir:

   • Vertex AI API: confira o uso associado a qualquer solicitação a Vertex AI Gemini API.

     • Inclui solicitações que usam Firebase AI Logic SDKs do cliente, os SDKs do servidor GenAI do Google, Genkit, as Firebase Extensions para a Gemini API, a API REST, Vertex AI Studio, etc.

   • Gemini Developer API: Confira o uso associado a qualquer solicitação à Gemini Developer API.

     • Inclui solicitações que usam os Firebase AI Logic SDKs do cliente, os SDKs do servidor GenAI do Google, Genkit, as Firebase Extensions para a Gemini API, a API REST, Google AI Studio, etc.
     • O nome de exibição dessa API no console Google Cloud é "API Generative Language".

   Se você estiver em uma "página de visão geral" da API, clique em Gerenciar e depois na guia Métricas.

   Observação: No console Google Cloud, também é possível conferir métricas no nível do projeto para a Firebase AI Logic API, que é o serviço de proxy de Firebase AI Logic. Essas métricas refletirão solicitações apenas dos Firebase AI Logic SDKs do cliente.

2. Use os menus suspensos para conferir as métricas de interesse, como tráfego por código de resposta, erros por método de API, latência geral e latência por método de API.