Мониторинг затрат, использования и других показателей

Мониторинг затрат, использования и других показателей ваших функций ИИ является важной частью управления работающим в производственной среде приложением. Вам необходимо знать, как выглядят типичные модели использования вашего приложения, и убедиться, что вы остаетесь в пределах важных для вас пороговых значений.

На этой странице описаны некоторые рекомендуемые варианты мониторинга ваших затрат, использования и других показателей как в консоли Firebase , так и в консоли Google Cloud .

Мониторинг затрат

На панели управления «Использование и выставление счетов» в консоли Firebase вы можете просмотреть затраты вашего проекта на вызовы API Vertex AI Gemini и API разработчика Gemini (при использовании тарифного плана Blaze).

Указанные на панели управления затраты не обязательно относятся только к вызовам с использованием клиентских SDK Firebase AI Logic . Отображаемые затраты связаны с любыми вызовами к этим «API Gemini», независимо от того, используются ли клиентские SDK Firebase AI Logic , серверные SDK Google GenAI, Genkit , Firebase Extensions для API Gemini , REST-запросы, один из AI Studios или другие клиенты API.

Узнайте больше о ценах на продукты, связанные с использованием Firebase AI Logic .

Настройте оповещения

Чтобы избежать неожиданных счетов, обязательно настройте оповещения о расходах, если вы используете тарифный план Blaze.

Обратите внимание, что оповещения о превышении бюджета не являются ограничениями бюджета . Оповещение будет отправлять вам уведомления, когда вы приближаетесь к установленному порогу или превышаете его, чтобы вы могли принять меры в своем приложении или проекте.

Отслеживайте использование функций ИИ в консоли Firebase

На странице Firebase AI Logic в консоли Firebase можно включить мониторинг ИИ, чтобы отслеживать различные метрики и использование на уровне приложения и получать полную картину запросов от клиентских SDK Firebase AI Logic . Эти панели мониторинга предоставляют более подробную информацию, чем базовый подсчет токенов, получаемый при вызове API Count Tokens .

Ключевые возможности мониторинга с помощью ИИ в консоли Firebase включают в себя:

  • Просмотр количественных показателей, таких как объем запросов, задержка, ошибки и использование токенов для каждого из ваших приложений.

  • Анализ трассировок для просмотра атрибутов, входных и выходных данных ваших запросов может помочь в отладке и улучшении качества.

  • Разделение данных по таким параметрам, как статус запроса, минимальная задержка, название модели и многое другое.

Все эти функции созданы с использованием Google Cloud Observability Suite ( подробную информацию о продукте см. ниже).

Включить мониторинг с помощью ИИ

Вот способы включения мониторинга с помощью ИИ в консоли Firebase :

Требования для включения и использования мониторинга с помощью ИИ:

  • Вы должны быть владельцем проекта, редактором или администратором Firebase Vertex AI.

  • Ваше приложение должно использовать как минимум следующие версии библиотеки Firebase:
    iOS+ : v11.13.0+ | Android : v16.0.0+ (BoM: v33.14.0+) | Web : v11.8.0+ | Flutter : v2.0.0+ (BoM: v3.11.0+) | Unity : v12.9.0+

  • В вашем приложении должна быть включена функция сбора данных с согласия пользователя (она включена по умолчанию).

После того, как ваше приложение будет соответствовать этим требованиям и вы включите мониторинг ИИ в консоли, вам не нужно будет ничего делать в приложении или консоли, чтобы начать видеть данные на панелях мониторинга в вкладке мониторинга ИИ Firebase AI Logic . Может быть небольшая задержка (иногда до 5 минут), прежде чем телеметрия из запроса станет доступна в консоли Firebase .

Расширенное использование

В этом разделе описывается настройка частоты дискретизации, а также различные варианты просмотра и работы с данными.

Частота дискретизации

Если вы отправляете большое количество запросов, мы рекомендуем использовать настройку частоты выборки. Частота выборки указывает долю запросов, для которых фактически собираются подробные данные трассировки .

На вкладке «Настройки логики Firebase AI» в консоли Firebase вы можете настроить частоту выборки для вашего проекта, установив значение от 1 до 100%, где 100% означает, что мониторинг AI будет собирать трассировки всего вашего трафика. Значение по умолчанию — 100%. Сбор меньшего количества трассировок снизит ваши затраты, но также уменьшит количество трассировок, которые вы можете отслеживать. Обратите внимание, что независимо от частоты выборки, графики, отображаемые на панели мониторинга, всегда будут отражать истинный объем трафика.

Дополнительные возможности вне консоли Firebase

В дополнение к функциям мониторинга с использованием ИИ, доступным в консоли Firebase , рассмотрите следующие варианты:

  • Изучите модель сада Vertex AI .
    Эти панели мониторинга предоставляют дополнительную информацию о тенденциях задержки и пропускной способности управляемых моделей, дополняя ваши данные, полученные с помощью мониторинга ИИ в консоли Firebase .

  • Исследуйте и используйте свои данные с помощью Google Cloud Observability Suite
    Поскольку телеметрические данные для мониторинга ИИ хранятся в Google Cloud Observability Suite связанном с вашим проектом, вы можете изучать свои данные на его панелях мониторинга, включая Trace Explorer и Logs Explorer , ссылки на которые появляются при просмотре отдельных трассировок в консоли Firebase . Вы также можете использовать свои данные для создания пользовательских панелей мониторинга, настройки оповещений и многого другого.

Подробная информация о продуктах, используемых для мониторинга с помощью ИИ.

Система мониторинга с использованием ИИ сохраняет ваши телеметрические данные в различных продуктах, доступных в Google Cloud Observability Suite , включая Cloud Monitoring , Cloud Trace и Cloud Logging .

  • Cloud Monitoring : хранит метрики, включая количество запросов, процент успешных запросов и задержку запросов.

  • Cloud Trace : Сохраняет трассировки для каждого вашего запроса, позволяя просматривать подробную информацию по отдельности, а не в совокупности. Трассировка обычно связана с журналами, что позволяет изучать содержимое и время каждого взаимодействия.

  • Cloud Logging : Захватывает входные, выходные и конфигурационные метаданные, предоставляя подробную информацию о каждой части вашего запроса к ИИ.

Поскольку ваши телеметрические данные хранятся в этих продуктах, вы можете указать параметры хранения и доступа непосредственно в каждом из них (подробнее см. в документации по Cloud Monitoring , Cloud Trace и Cloud Logging ).

Обратите внимание, что мониторинг с помощью ИИ сохраняет фактические запросы и сгенерированный результат каждого выборочного запроса в Cloud Logging , чтобы эти данные были доступны в консоли Firebase . При желании вы можете отключить сохранение запросов и ответов .

Цены

  • Проекты, использующие бесплатный тарифный план Spark (доступен только при использовании API разработчика Gemini ): использование базовых сервисов для мониторинга с помощью ИИ предоставляется бесплатно.

  • Проекты, использующие тарифный план Blaze с оплатой по мере использования : с вас будет взиматься плата за использование базовых продуктов Google Cloud Observability Suite , которые использует мониторинг с помощью ИИ (независимо от выбранного вами поставщика API Gemini ). Однако для каждого продукта Google Cloud Observability Suite предусмотрены щедрые бесплатные тарифные планы. Подробнее см. в документации по ценам Google Cloud Observability Suite .

(Необязательно) Отключить сохранение запросов и ответов.

По умолчанию мониторинг ИИ фиксирует фактические запросы, отправленные модели, и ответы, сгенерированные моделью, включая любую конфиденциальную информацию (например, персональные данные) в этих запросах и ответах. Все эти данные хранятся в Cloud Logging чтобы быть доступными в консоли Firebase .

Чтобы отключить сохранение запросов и ответов, добавьте следующий фильтр исключений в ваш приемник Cloud Logging (обычно это приемник _Default ): resource.type="firebasevertexai.googleapis.com/Model" .

Просматривайте метрики API на уровне проекта в консоли Google Cloud .

Для каждого API вы можете просмотреть метрики на уровне проекта, такие как использование, в консоли Google Cloud .

Обратите внимание, что страницы консоли Google Cloud , описанные в этом разделе, не содержат такой информации, как содержимое запросов и ответов, а также количество токенов. Для мониторинга такого рода информации рекомендуется использовать мониторинг с помощью ИИ в консоли Firebase (см. предыдущий раздел).

  1. В консоли Google Cloud перейдите на страницу «Метрики» для нужного вам API:

    • API Vertex AI : Просмотрите информацию об использовании любого запроса к API Vertex AI Gemini .

      • Включает запросы, использующие клиентские SDK Firebase AI Logic , серверные SDK Google GenAI, Genkit , Firebase Extensions для API Gemini , REST API, Vertex AI Studio и т. д.

    • Gemini Developer API : Просмотрите информацию об использовании любого запроса к Gemini Developer API .

      • Включает запросы, использующие клиентские SDK Firebase AI Logic , серверные SDK Google GenAI, Genkit , Firebase Extensions для API Gemini , REST API, Google AI Studio и т. д.
      • В консоли Google Cloud отображаемое имя этого API — "Generative Language API".

    Если вы попали на страницу обзора API, нажмите «Управление », а затем перейдите на вкладку «Метрики» .

  2. Используйте выпадающие меню для просмотра интересующих вас показателей, таких как трафик по коду ответа, ошибки по методу API, общая задержка и задержка по методу API.