Monitorowanie kosztów, wykorzystania i innych danych

Monitorowanie kosztów, wykorzystania i innych danych funkcji AI jest ważną częścią zarządzania aplikacją produkcyjną. Musisz znać typowe wzorce użytkowania aplikacji i mieć pewność, że nie przekraczasz progów, które są dla Ciebie istotne.

Na tej stronie znajdziesz kilka zalecanych opcji monitorowania kosztów, wykorzystania i innych danych w konsoli Firebase i konsoli Google Cloud.

Monitorowanie kosztów

W panelu Wykorzystanie i rozliczenia w konsoli Firebase możesz sprawdzić koszty projektu związane z wywoływaniem funkcji Vertex AI Gemini API i Gemini Developer API (jeśli korzystasz z abonamentu Blaze).

Koszty wyświetlane w panelu nie muszą być związane z połączeniami wykonywanymi za pomocą Firebase AI Logicpakietów SDK klienta. Wyświetlane koszty są związane z dowolnymi wywołaniami interfejsów „Gemini API”, niezależnie od tego, czy są one wykonywane przy użyciu Firebase AI Logic pakietów SDK klienta, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions w przypadku Gemini API, wywołań REST, jednego z AI Studio czy innych klientów interfejsu API.

Dowiedz się więcej o cenach produktów powiązanych z korzystaniem z Firebase AI Logic.

Konfigurowanie alertów

Aby uniknąć niespodzianek na rachunku, skonfiguruj alerty dotyczące budżetu, gdy korzystasz z planu cenowego Blaze.

Pamiętaj, że alerty dotyczące budżetu nie są limitami budżetu. Alert będzie wysyłać Ci powiadomienia, gdy zbliżysz się do skonfigurowanego progu lub go przekroczysz, aby umożliwić Ci podjęcie działań w aplikacji lub projekcie.

Obserwowanie wykorzystania funkcji opartych na AI w konsoli Firebase

Dostępne tylko wtedy, gdy jako dostawcę interfejsu API używasz Vertex AI Gemini API.

Na stronie Firebase AI Logic konsoliFirebase możesz włączyć monitorowanie oparte na AI, aby obserwować różne dane i statystyki użytkowania na poziomie aplikacji. Dzięki temu uzyskasz pełny wgląd w żądania z pakietów SDK klientaFirebase AI Logic. Te panele są bardziej szczegółowe niż podstawowe liczby tokenów, które uzyskujesz w wyniku wywołania interfejsu Count Tokens API.

Najważniejsze funkcje monitorowania AI w konsoli Firebase:

  • Wyświetlanie danych ilościowych, takich jak liczba żądań, czas oczekiwania, błędy i wykorzystanie tokenów w przypadku każdego z Twoich aplikacji.

  • Sprawdzanie śladów, aby zobaczyć atrybuty, dane wejściowe i wyjściowe żądań, co może pomóc w debugowaniu i poprawie jakości.

  • dzielenie danych według wymiarów, takich jak stan żądania, minimalny czas oczekiwania, nazwa modelu itp.;

Wszystkie te funkcje są oparte na Google Cloud Observability Suite (więcej informacji o produkcie znajdziesz poniżej).

Włącz monitorowanie AI

Oto sposoby włączania monitorowania opartego na AI w konsoli:Firebase

Wymagania dotyczące włączania i używania monitorowania opartego na AI:

Gdy aplikacja spełni te wymagania i włączysz monitorowanie AI w konsoli, nie musisz wykonywać żadnych innych czynności w aplikacji ani w konsoli, aby zacząć wyświetlać dane na panelach na karcie Firebase AI Logic Monitorowanie AI. Może wystąpić niewielkie opóźnienie (czasami do 5 minut), zanim dane telemetryczne z żądania będą dostępne w Firebase konsoli.

Zaawansowane użycie

W tej sekcji opisujemy konfigurację współczynnika próbkowania oraz różne opcje wyświetlania danych i pracy z nimi.

Częstotliwość próbkowania

Jeśli wysyłasz dużą liczbę żądań, zalecamy skorzystanie z konfiguracji częstotliwości próbkowania. Częstotliwość próbkowania określa odsetek żądań, w przypadku których dane są faktycznie zbierane.

Na karcie Firebase AI Logic Ustawienia w konsoli Firebase możesz skonfigurować częstotliwość próbkowania w projekcie na wartość od 1 do 100%. Wartość 100% spowoduje przekazywanie całego ruchu do monitorowania przez AI. Domyślnie jest to 100%. Większy ruch zwiększy dokładność danych, ale też koszty monitorowania. Pamiętaj, że wykresy wyświetlane w panelu monitorowania są oparte na współczynniku próbkowania. Jeśli wynosi on 50%, musisz podwoić liczbę żądań, wykorzystanie tokenów itp., aby oszacować rzeczywistą ilość.

Dodatkowe opcje poza konsolą Firebase

Oprócz monitorowania AI dostępnego w konsoli Firebase możesz skorzystać z tych opcji:

  • Przejrzyj bazę modeli Vertex AI.
    Te panele dostarczają dodatkowych informacji o trendach dotyczących opóźnienia i przepustowości w przypadku modeli zarządzanych, uzupełniając statystyki z monitorowania AI w Firebase konsoli.

  • Przeglądanie i używanie danych za pomocą Google Cloud Observability Suite
    : dane telemetryczne na potrzeby monitorowania AI są przechowywane w Google Cloud Observability Suite powiązanym z Twoim projektem. Możesz je przeglądać w panelach, w tym w Trace Explorer i Logs Explorer, które są połączone z momentem, w którym sprawdzasz poszczególne ślady w konsoli Firebase. Możesz też używać danych do tworzenia paneli niestandardowych, konfigurowania alertów i innych działań.

Szczegółowe informacje o usługach używanych do monitorowania AI

Monitorowanie AI przechowuje dane telemetryczne w różnych usługach dostępnych w Google Cloud Observability Suite, w tym Cloud Monitoring, Cloud Trace i Cloud Logging.

  • Cloud Monitoring: przechowuje dane, w tym liczbę żądań, odsetek udanych żądań i opóźnienie żądań.

  • Cloud Trace: przechowuje ślady każdego z Twoich żądań, dzięki czemu możesz wyświetlać szczegóły poszczególnych żądań zamiast danych zbiorczych. Ślad jest zwykle powiązany z logami, dzięki czemu możesz sprawdzić zawartość i czas trwania każdej interakcji.

  • Cloud Logging: rejestruje metadane wejściowe, wyjściowe i konfiguracyjne, aby dostarczać szczegółowych informacji o każdej części żądania dotyczącego AI.

Ponieważ dane telemetryczne są przechowywane w tych usługach, możesz określić ustawienia przechowywania i dostępu bezpośrednio w każdej z nich (więcej informacji znajdziesz w dokumentacji Cloud Monitoring, Cloud Trace i Cloud Logging). Pamiętaj, że rzeczywiste prompty i wygenerowane dane wyjściowe z każdego próbkowanego żądania są przechowywane wraz z danymi.

Ceny

Google Cloud Observability Suite to usługa płatna, więc Twój projekt Firebase musi być objęty abonamentem Blaze (płatność według zużycia zasobów). Każda usługa ma jednak obszerne bezpłatne poziomy. Więcej informacji znajdziesz w Google Cloud Observability Suitedokumentacji cen.

Wyświetlanie wskaźników interfejsu API na poziomie projektu w konsoli Google Cloud

W Google Cloudkonsoli możesz wyświetlać wskaźniki na poziomie projektu, np. wykorzystanie, dla każdego interfejsu API.

Pamiętaj, że Google Cloudstrony konsoli opisane w tej sekcji nie zawierają informacji takich jak treść żądania i odpowiedzi czy liczba tokenów. Aby monitorować tego typu informacje, rozważ użycie monitorowania AI w konsoli Firebase (patrz poprzednia sekcja).

  1. W konsoli Google Cloud otwórz stronę Dane interfejsu API, który chcesz wyświetlić:

    • Vertex AI API: Wyświetlaj wykorzystanie związane z dowolnym żądaniem wysłanym do interfejsu Vertex AI Gemini API.

      • Obejmuje żądania wysyłane za pomocą Firebase AI Logicpakietów SDK klienta, pakietów SDK serwera Google GenAI, Genkit, Firebase ExtensionsGemini API, interfejsu REST API, Vertex AI Studio itp.

    • Gemini Developer API: wyświetlaj wykorzystanie związane z dowolną prośbą do Gemini Developer API.

      • Obejmuje żądania wysyłane za pomocą Firebase AI Logicpakietów SDK klientaGenkit, pakietów SDK serwera Google GenAIFirebase Extensions, interfejsu REST APIGoogle AI Studio itp.Gemini API
      • Wyświetlana nazwa tego interfejsu API w Google Cloudkonsoli to „Generative Language API”.

    Jeśli otworzy się „strona przeglądu” interfejsu API, kliknij Zarządzaj, a potem kartę Dane.

    .

  2. Użyj menu, aby wyświetlić interesujące Cię dane, np. ruch według kodu odpowiedzi, błędy według metody interfejsu API, ogólny czas oczekiwania i czas oczekiwania według metody interfejsu API.