Monitorowanie kosztów, wykorzystania i innych wskaźników funkcji opartych na AI jest ważną częścią zarządzania aplikacją produkcyjną. Musisz znać typowe wzorce użytkowania aplikacji i upewnić się, że nie przekraczasz progów, które są dla Ciebie ważne.
Na tej stronie opisujemy niektóre zalecane opcje monitorowania kosztów, wykorzystania, i innych wskaźników w konsoli Firebase i konsoli Google Cloud.
Monitorowanie kosztów
W panelu Wykorzystanie i płatności w konsoliFirebase możesz wyświetlać koszty projektu związane z wywoływaniem Vertex AI Gemini API i Gemini Developer API (jeśli korzystasz z planu taryfowego Blaze).
Koszty wyświetlane w panelu nie muszą być związane z wywołaniami przy użyciu pakietów SDK klienta Firebase AI Logic. Wyświetlane koszty są powiązane z dowolnymi wywołaniami tych „interfejsów Gemini API”, niezależnie od tego, czy są one wykonywane przy użyciu pakietów SDK klienta Firebase AI Logic, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, wywołań REST, jednego z AI Studio czy innych klientów interfejsu API.
Więcej informacji o cenach produktów związanych z korzystaniem z Firebase AI Logic.
Konfigurowanie alertów
Aby uniknąć niespodziewanych rachunków, skonfiguruj alerty dotyczące budżetu , jeśli korzystasz z planu taryfowego Blaze.
Pamiętaj, że alerty dotyczące budżetu nie są limitami budżetu. Alert będzie wysyłać powiadomienia, gdy zbliżasz się do skonfigurowanego progu lub go przekroczysz, aby umożliwić Ci podjęcie działań w aplikacji lub projekcie.
Obserwowanie wykorzystania funkcji opartych na AI w konsoli Firebase
Aby móc obserwować różne wskaźniki i wykorzystanie na poziomie aplikacji, możesz włączyć monitorowanie wykorzystania AI na stronie Firebase AI Logic konsoli Firebase. Dzięki temu uzyskasz pełny wgląd w żądania z pakietów SDK klienta Firebase AI Logic. Te panele są bardziej szczegółowe niż podstawowe liczby tokenów, które otrzymujesz w wyniku wywołania interfejsu Count Tokens API.
Najważniejsze funkcje monitorowania wykorzystania AI w konsoli Firebase obejmują:
Wyświetlanie wskaźników ilościowych, takich jak liczba żądań, czas oczekiwania, błędy i wykorzystanie tokenów w poszczególnych trybach w każdej aplikacji.
Sprawdzanie śladów, aby zobaczyć atrybuty, dane wejściowe i wyjściowe żądań, co może pomóc w debugowaniu i poprawie jakości.
Dzielenie danych według wymiarów, takich jak stan żądania, minimalny czas oczekiwania, nazwa modelu itp.
Wszystkie te funkcje są oparte na Google Cloud Observability Suite (zobacz szczegółowe informacje o produkcie poniżej).
Włączanie monitorowania wykorzystania AI
Oto sposoby włączania monitorowania wykorzystania AI w Firebase konsoli:
Podczas wstępnej konfiguracji z przewodnikiem na stronie Firebase AI Logic
W dowolnym momencie na karcie Firebase AI Logic Ustawienia.
Wymagania dotyczące włączania i używania monitorowania wykorzystania AI:
Musisz być właścicielem projektu, edytorem lub administratorem Firebase Vertex AI.
Twoja aplikacja musi używać co najmniej tych wersji bibliotek Firebase:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+W aplikacji musi być włączone zbieranie danych (jest ono domyślnie włączone).
Gdy aplikacja spełni te wymagania i włączysz monitorowanie wykorzystania AI w konsoli, nie musisz robić nic więcej w aplikacji ani w konsoli, aby zacząć wyświetlać dane w panelach na Firebase AI Logic karcie Monitorowanie wykorzystania AI. Może wystąpić niewielkie opóźnienie (czasami do 5 minut), zanim dane telemetryczne z żądania będą dostępne w Firebase konsoli.
Zaawansowane użycie
W tej sekcji opisujemy konfigurację częstotliwości próbkowania oraz różne opcje wyświetlania danych i pracy z nimi.
Częstotliwość próbkowania
Jeśli wysyłasz dużą liczbę żądań, zalecamy skorzystanie z konfiguracji częstotliwości próbkowania. Częstotliwość próbkowania wskazuje odsetek żądań, dla których są faktycznie zbierane szczegóły śledzenia.
Na karcie Firebase AI Logic Ustawienia konsoli Firebase możesz skonfigurować częstotliwość próbkowania dla projektu na wartość od 1 do 100%. Wartość 100% oznacza, że monitorowanie wykorzystania AI będzie zbierać logi czasu z całego ruchu. Domyślna wartość to 100%. Zbieranie mniejszej liczby śladów zmniejszy koszty, ale też zmniejszy liczbę śladów, które możesz monitorować. Pamiętaj, że niezależnie od częstotliwości próbkowania wykresy wyświetlane w panelu monitorowania zawsze będą odzwierciedlać rzeczywistą wielkość ruchu.
Dodatkowe opcje poza konsolą Firebase
Oprócz monitorowania wykorzystania AI dostępnego w konsoli Firebase rozważ te opcje:
Poznaj Vertex AI Model Garden.
Te panele zawierają dodatkowe informacje o trendach dotyczących czasu oczekiwania i przepustowości w przypadku modeli zarządzanych, które uzupełniają informacje z monitorowania wykorzystania AI w konsoli Firebase.Poznaj i wykorzystuj dane za pomocą Google Cloud Observability Suite
Dane telemetryczne do monitorowania wykorzystania AI są przechowywane w Google Cloud Observability Suite powiązanym z Twoim projektem. Możesz je przeglądać w panelach, w tym w Trace Explorer i Logs Explorer, które są połączone z inspekcją poszczególnych śladów w konsoli Firebase. Możesz też używać danych do tworzenia niestandardowych paneli, konfigurowania alertów i innych zadań.
Szczegółowe informacje o produktach używanych do monitorowania wykorzystania AI
Monitorowanie wykorzystania AI przechowuje dane telemetryczne w różnych usługach dostępnych w Google Cloud Observability Suite, w tym w Cloud Monitoring, Cloud Trace i Cloud Logging.
Cloud Monitoring: przechowuje wskaźniki, w tym liczbę żądań, współczynnik powodzenia i czas oczekiwania na żądanie.
Cloud Trace: przechowuje ślady każdego żądania, dzięki czemu możesz wyświetlać szczegóły indywidualnie, a nie w postaci zbiorczej. Ślad jest zwykle powiązany z logami, dzięki czemu możesz sprawdzić treść i czas każdej interakcji.
Cloud Logging: rejestruje metadane wejściowe, wyjściowe i konfiguracyjne, aby zapewnić szczegółowe informacje o każdej części żądania AI.
Dane telemetryczne są przechowywane w tych usługach, więc możesz określić swoje ustawienia przechowywania i dostępu bezpośrednio w każdej z nich (więcej informacji znajdziesz w dokumentacji Cloud Monitoring, Cloud Trace i Cloud Logging).
Pamiętaj, że monitorowanie wykorzystania AI przechowuje rzeczywiste prompty i wygenerowane dane wyjściowe z każdego próbkowanego żądania w Cloud Logging dzięki czemu te dane są dostępne w Firebase konsoli. Możesz opcjonalnie wyłączyć przechowywanie promptów i odpowiedzi.
Ceny
Projekty w ramach bezpłatnego planu taryfowego Spark (dostępne tylko w przypadku korzystania z Gemini Developer API): korzystanie z usług bazowych do monitorowania wykorzystania AI jest bezpłatne.
Projekty w ramach planu taryfowego Blaze z płatnością według wykorzystania: opłaty będą naliczane za korzystanie z usług bazowych Google Cloud Observability Suite z których korzysta monitorowanie wykorzystania AI (niezależnie od wybranego Gemini API dostawcy). Każda usługa Google Cloud Observability Suite ma jednak obszerne bezpłatne warstwy. Więcej informacji znajdziesz w Google Cloud Observability Suite dokumentacji cen.
(Opcjonalnie) Wyłączanie przechowywania promptów i odpowiedzi
Domyślnie monitorowanie wykorzystania AI rejestruje rzeczywiste prompty wysyłane do modelu i odpowiedzi generowane przez model, w tym informacje poufne (takie jak informacje umożliwiające identyfikację [osoby] (PII)) w tych promptach i odpowiedziach. Wszystkie te dane są przechowywane w Cloud Logging, dzięki czemu są dostępne w Firebase konsoli.
Aby wyłączyć przechowywanie promptów i odpowiedzi, dodaj ten
filtr wykluczający do swojego
Cloud Logging ujścia
(zwykle ujścia _Default):
resource.type="firebasevertexai.googleapis.com/Model"
Wyświetlanie wskaźników interfejsu API na poziomie projektu w konsoli Google Cloud
W przypadku każdego interfejsu API możesz wyświetlać wskaźniki na poziomie projektu, takie jak wykorzystanie, w Google Cloud konsoli.
Pamiętaj, że strony konsoli Google Cloud opisane w tej sekcji nie zawierają informacji takich jak treść żądania i odpowiedzi oraz liczba tokenów. Aby monitorować tego typu informacje, rozważ użycie monitorowania wykorzystania AI w Firebase konsoli (patrz poprzednia sekcja).
W konsoli Google Cloud otwórz stronę Wskaźniki interfejsu API, który chcesz wyświetlić:
Vertex AI API: wyświetl wykorzystanie związane z dowolnym żądaniem do Vertex AI Gemini API.
- Obejmuje żądania przy użyciu Firebase AI Logic pakietów SDK klienta, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Vertex AI Studio, itp.
Gemini Developer API: wyświetl wykorzystanie związane z dowolnym żądaniem do Gemini Developer API.
- Obejmuje żądania przy użyciu pakietów SDK klienta Firebase AI Logic, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Google AI Studio, itp.
- Wyświetlana nazwa tego interfejsu API w konsoli Google Cloud to "Generative Language API".
Jeśli znajdziesz się na stronie "Przegląd" interfejsu API, kliknij Zarządzaj, a następnie kliknij kartę Wskaźniki.
Użyj menu, aby wyświetlić interesujące Cię wskaźniki, takie jak ruch według kodu odpowiedzi, błędy według metody interfejsu API, ogólny czas oczekiwania i czas oczekiwania według metody interfejsu API.