Как отслеживать расходы, использование и другие показатели

Отслеживание расходов, использования и других показателей ИИ-функций – важная часть работы с приложением. Вам нужно знать, как выглядит нормальное использование вашего приложения, и следить за тем, чтобы не превышать установленные пороговые значения.

На этой странице описаны рекомендуемые варианты отслеживания расходов, использования и других показателей в консолях Firebase и Google Cloud.

Отслеживание расходов

На панели управления Использование и оплата в консоли Firebase можно посмотреть расходы проекта на вызовы Agent Platform Gemini API (formerly Vertex AI) и Gemini Developer API (если вы используете тарифный план Blaze).

Расходы, указанные на панели управления, не обязательно относятся к вызовам с использованием клиентских SDK Firebase AI Logic. Показанные расходы связаны с любыми вызовами этих Gemini API, независимо от того, используются ли клиентские SDK Firebase AI Logic, серверные SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, вызовы REST, одна из AI Studio или другие API-клиенты.

Подробнее о ценах на продукты, связанные с использованием Firebase AI Logic…

Как настроить оповещения о бюджете и лимиты расходов

Если вы используете тарифный план Blaze, настройте оповещения о бюджете и лимиты расходов, чтобы избежать неожиданных счетов.

Обратите внимание, что оповещения о бюджете не являются ограничениями бюджета. Оповещения будут отправляться вам по электронной почте, когда расходы достигнут определенных пороговых значений бюджета, чтобы вы могли принять меры в своем приложении или проекте. Если вы хотите, чтобы работа сервиса приостанавливалась при достижении лимита, вам нужно задать бюджет с лимитом расходов.

Отслеживайте использование ИИ-функций в консоли Firebase

Вы можете включить ИИ-мониторинг на странице Firebase AI Logic в консоли Firebase, чтобы отслеживать различные показатели на уровне приложения и его использование. Это позволит вам получить полное представление о запросах из клиентских SDK Firebase AI Logic. Эти панели управления более подробные, чем базовые счетчики токенов, которые вы получаете при вызове Count Tokens API.

Основные возможности ИИ-мониторинга в консоли Firebase:

  • Просмотр количественных показателей, таких как объем запросов, задержка, ошибки и использование токенов для каждой модальности в каждом из ваших приложений.

  • Просматривать трассировки, чтобы изучать атрибуты, входные и выходные данные запросов. Это помогает устранять неполадки и повышать качество.

  • Разбивка данных по таким параметрам, как статус запроса, минимальная задержка, название модели и т. д.

Все эти функции созданы на основе Google Cloud Observability Suite (см. подробную информацию о продукте ниже).

Включить ИИ-мониторинг

Вот как можно включить ИИ-мониторинг в консоли Firebase:

  • При первоначальной настройке на странице Сервисы ИИ > Firebase AI Logic

  • В любое время на вкладке AI Services (Сервисы ИИ) > AI Logic (Логика ИИ) > Settings (Настройки).

Требования для включения и использования ИИ-мониторинга

  • Вы должны быть владельцем или редактором проекта или администратором Firebase Vertex AI.

  • В вашем приложении должны использоваться как минимум следующие версии библиотек Firebase:
    iOS+: 11.13.0 и выше | Android: 16.0.0 и выше (BoM: 33.14.0 и выше) | Web: 11.8.0 и выше | Flutter: 2.0.0 и выше (BoM: 3.11.0 и выше) | Unity: 12.9.0 и выше

  • В приложении должен быть включен сбор данных с согласия пользователя (включен по умолчанию).

После того как вы выполните эти требования и включите ИИ-мониторинг в консоли, вам больше ничего не нужно будет делать в приложении или консоли, чтобы данные начали появляться на вкладке ИИ-сервисы > ИИ-логика > ИИ-мониторинг. Телеметрия запроса может появиться в консоли Firebase с небольшой задержкой (иногда до пяти минут).

Дополнительные возможности

В этом разделе описывается настройка частоты дискретизации, а также различные варианты просмотра данных и работы с ними.

Частота дискретизации

Если вы отправляете большое количество запросов, рекомендуем воспользоваться настройкой частоты дискретизации. Частота дискретизации указывает долю запросов, для которых собираются сведения о трассировке.

В консоли Firebase на вкладке AI Services (ИИ-сервисы) > AI Logic (ИИ-логика) > Settings (Настройки) можно задать частоту дискретизации для проекта в диапазоне от 1 до 100 %. Если выбрать 100 %, ИИ-мониторинг будет собирать трассировки для всего трафика. Значение по умолчанию – 100 %. Сбор меньшего количества трассировок снизит ваши затраты, но также уменьшит количество трассировок, которые вы можете отслеживать. Обратите внимание, что независимо от частоты дискретизации на графиках в панели мониторинга всегда будет отражен истинный объем трафика.

Дополнительные варианты за пределами консоли Firebase

Помимо ИИ-мониторинга, доступного в консоли Firebase, вы можете использовать следующие инструменты:

  • Изучите Vertex AI Model Garden.
    Эти панели предоставляют дополнительную информацию о тенденциях задержки и пропускной способности управляемых моделей, дополняя данные ИИ-мониторинга в консоли Firebase.

  • Изучайте и используйте данные с помощью Google Cloud Observability Suite
    Поскольку данные телеметрии для ИИ-мониторинга хранятся в Google Cloud Observability Suite, связанном с вашим проектом, вы можете изучать их на панелях управления, в том числе Trace Explorer и Logs Explorer, ссылки на которые доступны при просмотре отдельных трассировок в консоли Firebase. Вы также можете использовать свои данные для создания настраиваемых панелей мониторинга, настройки оповещений и многого другого.

Подробная информация о продуктах, используемых для ИИ-мониторинга

ИИ-мониторинг хранит данные телеметрии в различных продуктах, доступных в Google Cloud Observability Suite, включая Cloud Monitoring, Cloud Trace и Cloud Logging.

  • Cloud Monitoring – хранит показатели, включая количество запросов, долю успешных запросов и задержку запросов.

  • Cloud Trace – хранит трассировки для каждого запроса, чтобы вы могли просматривать сведения по отдельности, а не в агрегированном виде. Трассировка обычно связана с журналами, поэтому вы можете изучить содержимое и время каждого взаимодействия.

  • Cloud Logging – фиксирует входные и выходные данные, а также метаданные конфигурации, чтобы предоставить подробную информацию о каждой части вашего ИИ-запроса.

Поскольку данные телеметрии хранятся в этих продуктах, вы можете задать настройки хранения и доступа непосредственно в каждом из них. Подробную информацию можно найти в документации по Cloud Monitoring, Cloud Trace и Cloud Logging.

Обратите внимание, что ИИ-мониторинг сохраняет фактические запросы и сгенерированные выходные данные из каждого выбранного запроса в Cloud Logging, чтобы эти данные были доступны в консоли Firebase. При желании вы можете отключить хранение запросов и ответов.

Цены

  • Проекты с бесплатным тарифным планом Spark (доступно только при использовании Gemini Developer API). Использование базовых сервисов для ИИ-мониторинга бесплатно.

  • Проекты с тарифным планом Blaze с оплатой по мере использования. С вас будет взиматься плата за использование базовых продуктов Google Cloud Observability Suite, которые используются для ИИ-мониторинга (независимо от выбранного поставщика Gemini API). Однако для каждого продукта Google Cloud Observability Suite предусмотрены бесплатные уровни. Подробные сведения можно найти в документации по ценам на Google Cloud Observability Suite.

(Необязательно) Отключите хранение запросов и ответов

По умолчанию ИИ-мониторинг фиксирует фактические запросы, отправленные модели, и ответы, сгенерированные моделью, включая любую конфиденциальную информацию (например, информацию, позволяющую идентифицировать личность) в этих запросах и ответах. Все эти данные хранятся в Cloud Logging, поэтому они доступны в консоли Firebase.

Чтобы отключить хранение запросов и ответов, добавьте следующий фильтр исключений в приемник Cloud Logging (обычно это приемник _Default): resource.type="firebasevertexai.googleapis.com/Model".

Просмотр показателей API на уровне проекта в консоли Google Cloud

Для каждого API можно посмотреть показатели на уровне проекта, например использование, в консоли Google Cloud.

Обратите внимание, что страницы консоли Google Cloud, описанные в этом разделе, не содержат информацию о контенте запросов и ответов, а также о количестве токенов. Чтобы отслеживать такую информацию, используйте ИИ-мониторинг в консоли Firebase (см. предыдущий раздел).

  1. В консоли Google Cloud перейдите на страницу Metrics (Показатели) нужного API:

    • Agent Platform API. Просмотр статистики использования, связанной с любым запросом к Agent Platform Gemini API (formerly Vertex AI).

      • Включает запросы, отправленные с помощью клиентских SDK Firebase AI Logic, серверных SDK Google GenAI Genkit, Firebase Extensions для Gemini API, REST API Agent  Studio и т. д.

    • Gemini Developer API – просмотр данных об использовании, связанных с любым запросом к Gemini Developer API.

      • Включает запросы, отправленные с помощью клиентских SDK Firebase AI Logic, серверных SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, REST API, Google AI Studio и т. д.
      • В консоли Google Cloud отображаемое название этого API — Generative Language API.

    Если вы находитесь на обзорной странице API, нажмите Manage (Управление), а затем перейдите на вкладку Metrics (Показатели).

  2. В раскрывающихся меню можно выбрать интересующие вас показатели, например трафик по кодам ответа, ошибки по методам API, общую задержку и задержку по методам API.