Monitorowanie kosztów, wykorzystania i innych danych

Monitorowanie kosztów, wykorzystania i innych danych funkcji AI jest ważną częścią korzystania z produkcyjnej aplikacji. Musisz wiedzieć, jak wyglądają normalne wzorce użytkowania Twojej aplikacji, i upewnić się, że nie przekraczasz ważnych dla siebie wartości progowych.

Na tej stronie opisano niektóre zalecane opcje monitorowania kosztów, wykorzystania i innych danych zarówno w konsoli Firebase, jak i konsoli Google Cloud.

Monitorowanie kosztów

W panelu Użycie i rozliczenia konsoli Firebase możesz sprawdzić koszty wywołania funkcji Vertex AI Gemini API i Gemini Developer API (jeśli korzystasz z abonamentu Blaze).

Koszty wyświetlane w panelu nie są koniecznie związane z wywołaniami korzystającymi z pakietów SDK klienta Firebase AI Logic. Wyświetlane koszty są powiązane z wszystkimi wywołaniami „interfejsów API Gemini”, niezależnie od tego, czy korzystają z pakietu SDK klienta Firebase AI Logic, pakietu SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, wywołań REST, jednego ze studiów AI czy innych klientów interfejsu API.

Dowiedz się więcej o cenach produktów związanych z korzystaniem z Firebase AI Logic.

Konfigurowanie alertów

Aby uniknąć niespodzianek na rachunku, ustaw alerty dotyczące budżetu, gdy korzystasz z abonamentu Blaze.

Pamiętaj, że alerty dotyczące budżetu nie są limitami budżetu. Otrzymasz alert, gdy zbliżysz się do skonfigurowanego progu lub przekroczysz go, aby móc podjąć odpowiednie działania w aplikacji lub projekcie.

Obserwowanie sposobu korzystania z funkcji AI w konsoli Firebase

Dostępne tylko wtedy, gdy używasz interfejsu API od firmy Vertex AI Gemini API.

Możesz włączyć monitorowanie AI na stronie Firebase AI Logic w konsoli Firebase, aby obserwować różne dane i użytkowanie na poziomie aplikacji i zyskać pełny wgląd w żądania z pakietów SDK klienta Firebase AI Logic. Te panele są bardziej szczegółowe niż podstawowe dane o liczbie tokenów uzyskane z wywołania interfejsu Count Tokens API.

Najważniejsze funkcje monitorowania AI w konsoli Firebase:

  • wyświetlanie danych ilościowych, takich jak liczba żądań, opóźnienie, błędy i korzystanie z tokenu na potrzeby poszczególnych aplikacji;

  • Sprawdzanie śladów, aby zobaczyć atrybuty, dane wejściowe i wyjściowe żądań, co może ułatwić debugowanie i polepszenie jakości.

  • dzielenie danych według wymiarów, takich jak stan żądania, minimalny czas oczekiwania, nazwa modelu itp.

Wszystkie te funkcje są tworzone za pomocą Google Cloud Observability Suite (poniżej znajdziesz szczegółowe informacje o produkcie).

Włączanie monitorowania AI

Aby włączyć monitorowanie AI w konsoli Firebase:

Wymagania dotyczące włączania i korzystania z monitorowania za pomocą AI:

  • Musisz być właścicielem, edytorem lub administratorem Firebase Vertex AI.

  • Twój projekt Firebase musi być objęty abonamentem Blaze z płatnością według zużycia (patrz szczegółowe informacje o usłudze poniżej).

  • Jako dostawcę interfejsu API musisz używać usługi Vertex AI Gemini API (wkrótce udostępnimy obsługę interfejsu Gemini Developer API).

  • Aplikacja musi używać co najmniej tych wersji bibliotek Firebase:
    iOS+: v11.13.0 lub nowsza | Android: v16.0.0 lub nowsza (BoM: v33.14.0 lub nowsza) | Sieć: v11.8.0 lub nowsza | Flutter: v2.0.0 lub nowsza (BoM: v3.11.0 lub nowsza) | Unity: v12.9.0 lub nowsza

  • W aplikacji musisz włączyć zbieranie danych z wyrazem zgody (jest ono domyślnie włączone).

Gdy aplikacja spełni te wymagania, a w konsoli włączysz monitorowanie AI, nie musisz już nic robić w aplikacji ani w konsoli, aby zacząć wyświetlać dane na panelach na karcie Firebase AI Logic Monitorowanie AI. Może wystąpić niewielkie opóźnienie (czasami do 5 minut), zanim telemetria z żądania będzie dostępna w konsoli Firebase.

Zaawansowane użycie

W tej sekcji opisujemy konfigurację częstotliwości próbkowania oraz różne opcje wyświetlania i pracy z danymi.

Częstotliwość próbkowania

Jeśli wysyłasz dużą liczbę żądań, zalecamy skorzystanie z konfiguracji częstotliwości próbkowania. Częstotliwość próbkowania wskazuje odsetek żądań, dla których dane są faktycznie zbierane.

Na karcie Firebase AI Logic Ustawienia konsoli Firebase możesz skonfigurować częstotliwość próbkowania dla projektu na wartość od 1 do 100%. Wartość 100% oznacza, że cały ruch będzie wysyłany do monitorowania AI. Domyślnie jest to 100%. Wysyłanie większego ruchu zwiększy dokładność danych, ale też podniesie koszty monitorowania. Pamiętaj, że wykresy wyświetlane w panelu monitorowania są oparte na współczynniku próbkowania, więc jeśli wynosi on 50%, aby oszacować rzeczywistą liczbę, należy podwoić liczbę żądań, użycia tokenów itp.

Dodatkowe opcje poza konsolą Firebase

Oprócz monitorowania AI dostępnego w konsoli Firebase rozważ te opcje:

  • Zapoznaj się z bazą modeli Vertex AI.
    Te panele zawierają dodatkowe statystyki dotyczące trendów opóźnień i przepustowości w przypadku zarządzanych modeli. Uzupełniają one statystyki z monitorowania AI w konsoli Firebase.

  • Przeglądaj i używaj swoich danych za pomocą Google Cloud Observability Suite
    . Ponieważ dane telemetryczne do monitorowania AI są przechowywane w Google Cloud Observability Suite powiązanym z Twoim projektem, możesz przeglądać swoje dane w panelach, w tym Trace Explorer i Logs Explorer, które są powiązane z Twoimi indywidualnymi śladami w konsoli Firebase. Możesz też używać danych do tworzenia paneli niestandardowych, konfigurowania alertów i innych działań.

Szczegółowe informacje o produktach używanych do monitorowania AI

Monitorowanie AI przechowuje Twoje dane telemetryczne w różnych usługach dostępnych w Google Cloud Observability Suite, w tym Cloud Monitoring, Cloud Trace i Cloud Logging.

  • Cloud Monitoring: przechowuje dane, w tym liczbę żądań, współczynnik powodzenia i opóźnienie żądania.

  • Cloud Trace: przechowuje ślady każdej z Twoich próśb, dzięki czemu możesz wyświetlać szczegóły indywidualnie, a nie zbiorczo. Ślad jest zwykle powiązany z logami, aby można było sprawdzić treść i czas trwania każdej interakcji.

  • Cloud Logging: rejestruje metadane dotyczące danych wejściowych, danych wyjściowych i konfiguracji, aby zapewnić szczegółowe informacje o każdej części żądania dotyczącego AI.

Dane telemetryczne są przechowywane w tych usługach, więc możesz określić ustawienia przechowywania i dostępu bezpośrednio w każdej z nich (więcej informacji znajdziesz w dokumentacji dotyczącej Cloud Monitoring, Cloud Trace i Cloud Logging). Pamiętaj, że rzeczywiste prompty i wygenerowane dane wyjściowe z każdego próbkowanego żądania są przechowywane wraz z danymi.

Ceny

Google Cloud Observability Suite to płatna usługa, dlatego Twój projekt Firebase musi korzystać z abonamentu Blaze (płatność według zużycia zasobów). Jednak każda usługa ma obszerne bezpłatne poziomy. Więcej informacji znajdziesz w dokumentacji dotyczącej cen Google Cloud Observability Suite.

Wyświetlanie danych interfejsu API na poziomie projektu w konsoli Google Cloud

W konsoli Google Cloud możesz wyświetlać wskaźniki na poziomie projektu, np. wykorzystanie, dla każdego interfejsu API.

Pamiętaj, że strony konsoli Google Cloud opisane w tym rozdziale nie zawierają informacji takich jak treść żądania i odpowiedzi oraz liczba tokenów. Aby monitorować tego typu informacje, rozważ użycie monitorowania AI w konsoli Firebase (patrz poprzednia sekcja).

  1. W konsoli Google Cloud otwórz stronę Dane interfejsu API, który chcesz wyświetlić:

    • Interfejs API Vertex AI: wyświetl użycie związane z dowolnym żądaniem do interfejsu Vertex AI Gemini API.

      • Obejmuje żądania korzystające z Firebase AI Logic pakietów SDK po stronie klienta, pakietów SDK po stronie serwera GenAI Google, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Vertex AI Studio itp.

    • Gemini Developer API: wyświetl użycie związane z dowolnym żądaniem wysłanym do Gemini Developer API.

      • Obejmuje żądania korzystające z Firebase AI Logic pakietów SDK klienta, pakietów SDK serwera Google GenAI, Genkit, Firebase Extensions dla Gemini API, interfejsu REST API, Google AI Studio itp.
      • Wyświetlana nazwa tego interfejsu API w konsoli Google Cloud to „Generative Language API”.

    Jeśli widzisz „stronę przeglądu” interfejsu API, kliknij Zarządzaj, a potem kartę Dane.

  2. W menu możesz wyświetlić interesujące Cię dane, np. ruch według kodu odpowiedzi, błędy według metody interfejsu API, ogólny czas oczekiwania i czas oczekiwania według metody interfejsu API.