Monitorowanie kosztów, wykorzystania i innych danych dotyczących funkcji opartych na AI jest ważnym elementem prowadzenia aplikacji produkcyjnej. Musisz wiedzieć, jak wyglądają normalne wzorce użytkowania aplikacji, i upewnić się, że nie przekraczasz ważnych dla Ciebie progów.
Na tej stronie opisano kilka zalecanych opcji monitorowania kosztów, wykorzystania i innych danych w konsolach Firebase i Google Cloud.
Monitorowanie kosztów
W panelu Użycie i płatności w konsoli Firebase możesz wyświetlić koszty projektu związane z wywoływaniem Agent Platform Gemini API (formerly Vertex AI) i Gemini Developer API (jeśli korzystasz z abonamentu Blaze).
Koszty wyświetlane w panelu nie muszą dotyczyć wywołań przy użyciu pakietów SDK klienta Firebase AI Logic. Wyświetlane koszty są powiązane z dowolnymi wywołaniami tych interfejsów „Gemini API”, niezależnie od tego, czy używają one pakietów SDK klienta Firebase AI Logic, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, wywołań REST, jednego z AI Studio czy innych klientów API.
Dowiedz się więcej o cenach usług powiązanych z Twoim korzystaniem z Firebase AI Logic.
Konfigurowanie alertów dotyczących budżetu i limitów wydatków
Jeśli korzystasz z abonamentu Blaze, możesz uniknąć niespodziewanych rachunków, konfigurując alerty dotyczące budżetu i limity wydatków.
Pamiętaj, że alerty dotyczące budżetu nie są limitami budżetu. Alert będzie wysyłać Ci e-maile z ostrzeżeniami, gdy wydatki osiągną określone progi budżetu, dzięki czemu będziesz mieć możliwość podjęcia działań w aplikacji lub projekcie. Jeśli chcesz, aby usługa została wstrzymana po osiągnięciu budżetu, musisz ustawić budżet z limitem wydatków.
Obserwowanie wykorzystania funkcji opartych na AI w konsoli Firebase
Możesz włączyć monitorowanie wykorzystania AI na stronie Firebase AI Logic w konsoli Firebase, aby obserwować różne dane i wykorzystanie na poziomie aplikacji i uzyskać pełny wgląd w żądania z pakietów SDK klienta Firebase AI Logic. Te panele są bardziej szczegółowe niż podstawowe liczby tokenów, które otrzymujesz po wywołaniu interfejsu Count Tokens API.
Najważniejsze funkcje monitorowania wykorzystania AI w konsoli Firebase to:
wyświetlanie wskaźników ilościowych, takich jak liczba żądań, czas oczekiwania, błędy i wykorzystanie tokenów na modalność w przypadku każdej aplikacji;
sprawdzanie logów czasu, aby zobaczyć atrybuty, dane wejściowe i wyjściowe żądań, co może pomóc w debugowaniu i poprawie jakości;
dzielenie danych według wymiarów, takich jak stan żądania, minimalny czas oczekiwania, nazwa modelu i inne;
Wszystkie te funkcje są oparte na Google Cloud Observability Suite (poniżej znajdziesz szczegółowe informacje o produkcie).
Włączanie monitorowania wykorzystania AI
Oto sposoby włączania monitorowania wykorzystania AI w konsoli Firebase:
gdy przejdziesz przez początkowy proces konfiguracji z przewodnikiem na stronie Usługi AI > Firebase AI Logic,
W dowolnym momencie na karcie Usługi AI > AI Logic > Ustawienia.
Wymagania dotyczące włączania i używania monitorowania wykorzystania AI:
Musisz być właścicielem lub edytującym projektu albo administratorem Vertex AI w Firebase.
Twoja aplikacja musi używać co najmniej tych wersji bibliotek Firebase:
iOS+: wersja 11.13.0 lub nowsza | Android: wersja 16.0.0 lub nowsza (BoM: wersja 33.14.0 lub nowsza) | Web: wersja 11.8.0 lub nowsza | Flutter: wersja 2.0.0 lub nowsza (BoM: wersja 3.11.0 lub nowsza) | Unity: wersja 12.9.0 lub nowszaW aplikacji musi być włączone zbieranie danych na podstawie zgody użytkownika (jest to ustawienie domyślne).
Gdy aplikacja spełni te wymagania i włączysz monitorowanie wykorzystania AI w konsoli, nie musisz nic więcej robić w aplikacji ani w konsoli, aby dane zaczęły się pojawiać w panelach na karcie Usługi AI > AI Logic > Monitorowanie wykorzystania AI. Zanim dane telemetryczne z żądania będą dostępne w konsoli Firebase, może wystąpić niewielkie opóźnienie (czasami do 5 minut).
Zaawansowane użycie
W tej sekcji opisano konfigurację częstotliwości próbkowania oraz różne opcje wyświetlania danych i pracy z nimi.
Częstotliwość próbkowania
Jeśli wysyłasz dużą liczbę żądań, zalecamy skorzystanie z konfiguracji częstotliwości próbkowania. Częstotliwość próbkowania wskazuje odsetek żądań, dla których faktycznie zbierane są szczegóły logów czasu.
Na karcie AI Services (Usługi AI) > AI Logic (Logika AI) > Settings (Ustawienia) w konsoli Firebase możesz skonfigurować częstotliwość próbkowania dla projektu na wartość od 1% do 100%, gdzie 100% oznacza, że monitorowanie wykorzystania AI będzie zbierać logi z całego ruchu. Wartość domyślna to 100%. Zbieranie mniejszej liczby logów czasu zmniejszy koszty, ale ograniczy też liczbę logów czasu, które możesz monitorować. Pamiętaj, że niezależnie od częstotliwości próbkowania wykresy wyświetlane w panelu monitorowania zawsze odzwierciedlają rzeczywiste natężenie ruchu.
Dodatkowe opcje poza konsolą Firebase
Oprócz monitorowania wykorzystania AI dostępnego w konsoli Firebase rozważ te opcje:
Zapoznaj się z bazą modeli Vertex AI.
Te panele dostarczają dodatkowych informacji o trendach dotyczących opóźnienia i przepustowości zarządzanych modeli, uzupełniając informacje z monitorowania wykorzystania AI w konsoli Firebase.Przeglądanie i używanie danych za pomocą Google Cloud Observability Suite
Dane telemetryczne na potrzeby monitorowania wykorzystania AI są przechowywane w Google Cloud Observability Suite powiązanym z Twoim projektem, więc możesz je przeglądać w panelach, w tym Trace Explorer i Logs Explorer, do których linki są dostępne podczas sprawdzania poszczególnych logów czasu oczekiwania w konsoli Firebase. Możesz też używać danych do tworzenia niestandardowych paneli, konfigurowania alertów i innych działań.
Szczegółowe informacje o usługach używanych do monitorowania wykorzystania AI
Monitorowanie wykorzystania AI przechowuje dane telemetryczne w różnych usługach dostępnych w Google Cloud Observability Suite, w tym Cloud Monitoring, Cloud Trace i Cloud Logging.
Cloud Monitoring: przechowuje dane, w tym liczbę żądań, wskaźnik sukcesu i opóźnienie żądania.
Cloud Trace: przechowuje logi czasu oczekiwania dla każdego żądania, dzięki czemu możesz wyświetlać szczegóły pojedynczo, a nie w postaci zbiorczej. Ślad jest zwykle powiązany z logami, dzięki czemu możesz sprawdzić zawartość i czas każdej interakcji.
Cloud Logging: rejestruje metadane wejściowe, wyjściowe i konfiguracyjne, aby dostarczać szczegółowe informacje o każdej części żądania AI.
Dane telemetryczne są przechowywane w tych usługach, więc możesz określić ustawienia przechowywania i dostępu bezpośrednio w każdej z nich (więcej informacji znajdziesz w dokumentacji Cloud Monitoring, Cloud Trace i Cloud Logging).
Pamiętaj, że monitorowanie wykorzystania AI przechowuje rzeczywiste prompty i wygenerowane wyniki z każdego próbkowanego żądania w usłudze Cloud Logging, dzięki czemu te dane są dostępne w konsoli Firebase. Możesz opcjonalnie wyłączyć przechowywanie promptów i odpowiedzi.
Ceny
Projekty w bezpłatnym abonamencie Spark (dostępne tylko w przypadku korzystania z Gemini Developer API): korzystanie z usług bazowych na potrzeby monitorowania wykorzystania AI jest bezpłatne.
Projekty w abonamencie Blaze z płatnością według wykorzystania: będziemy naliczać opłaty za korzystanie z usług Google Cloud Observability Suite, których używa monitorowanie wykorzystania AI (niezależnie od wybranego dostawcy Gemini API). Jednak każda usługa Google Cloud Observability Suite ma hojne bezpłatne poziomy. Więcej informacji znajdziesz w dokumentacji dotyczącej cen Google Cloud Observability Suite.
(Opcjonalnie) Wyłączanie przechowywania promptów i odpowiedzi
Domyślnie monitorowanie wykorzystania AI rejestruje rzeczywiste prompty wysyłane do modelu i odpowiedzi generowane przez model, w tym wszelkie informacje poufne (takie jak informacje umożliwiające identyfikację) zawarte w tych promptach i odpowiedziach. Wszystkie te dane są przechowywane w Cloud Logging, dzięki czemu są dostępne w konsoli Firebase.
Aby wyłączyć przechowywanie promptów i odpowiedzi, dodaj do ujścia Cloud Logging (zwykle ujścia _Default) ten filtr wykluczający: resource.type="firebasevertexai.googleapis.com/Model"
Wyświetlanie wskaźników interfejsu API na poziomie projektu w konsoli Google Cloud
W konsoli Google Cloud możesz wyświetlić wskaźniki na poziomie projektu, takie jak wykorzystanie, dla każdego interfejsu API.
Pamiętaj, że strony konsoli Google Cloud opisane w tej sekcji nie zawierają informacji takich jak treść żądania i odpowiedzi oraz liczba tokenów. Aby monitorować tego typu informacje, rozważ użycie monitorowania wykorzystania AI w konsoli Firebase (patrz poprzednia sekcja).
W konsoli Google Cloud otwórz stronę Wskaźniki interfejsu API, który chcesz wyświetlić:
Agent Platform API: wyświetl wykorzystanie związane z dowolnym żądaniem do Agent Platform Gemini API (formerly Vertex AI).
- Obejmuje żądania wysyłane za pomocą pakietów SDK klienta Firebase AI Logic, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Agent Studio itp.
Gemini Developer API: wyświetl wykorzystanie związane z dowolnym żądaniem do Gemini Developer API.
- Obejmuje żądania wysyłane za pomocą pakietów SDK klienta Firebase AI Logic, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Google AI Studio itp.
- Wyświetlana nazwa tego interfejsu API w konsoli Google Cloud to „Generative Language API”.
Jeśli znajdziesz się na „stronie przeglądu” interfejsu API, kliknij Zarządzaj, a następnie kartę Wskaźniki.
Użyj menu, aby wyświetlić interesujące Cię dane, takie jak ruch według kodu odpowiedzi, błędy według metody interfejsu API, ogólny czas oczekiwania i czas oczekiwania według metody interfejsu API.