Monitorare costi, utilizzo e altre metriche

Il monitoraggio dei costi, dell'utilizzo e di altre metriche delle funzionalità di AI è una parte importante della gestione di un'app di produzione. Devi conoscere i normali modelli di utilizzo della tua app e assicurarti di rimanere entro le soglie che ti interessano.

Questa pagina descrive alcune opzioni consigliate per monitorare costi, utilizzo e altre metriche sia nella console Firebase che nella console Google Cloud.

Monitorare i costi

Nella dashboard Utilizzo e fatturazione della console Firebase, puoi visualizzare i costi del tuo progetto per le chiamate all'API Vertex AI Gemini API e all'API Gemini Developer API (se hai il piano tariffario Blaze).

I costi visualizzati nella dashboard non sono necessariamente specifici delle chiamate che utilizzano gli SDK client Firebase AI Logic. I costi visualizzati sono associati a qualsiasi chiamata a queste "API Gemini", indipendentemente dal fatto che utilizzino gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, chiamate REST, uno degli AI Studio o altri client API.

Scopri di più sui prezzi dei prodotti associati al tuo utilizzo di Firebase AI Logic.

Configura avvisi

Per evitare fatture a sorpresa, assicurati di configurare gli avvisi relativi al budget quando utilizzi il piano tariffario Blaze.

Tieni presente che gli avvisi relativi al budget non sono limiti di budget. Un avviso ti invierà comunicazioni quando ti avvicini o hai superato la soglia configurata, in modo che tu possa intervenire nell'app o nel progetto.

Osserva l'utilizzo delle funzionalità di AI nella console Firebase

Disponibile solo quando utilizzi Vertex AI Gemini API come provider API.

Puoi attivare il monitoraggio dell'AI nella pagina Firebase AI Logic della console Firebase per osservare varie metriche e l'utilizzo a livello di app e ottenere una visibilità completa delle tue richieste dagli SDK client Firebase AI Logic. Queste dashboard sono più dettagliate rispetto ai conteggi di base dei token ottenuti da una chiamata all'API Count Tokens.

Le funzionalità principali del monitoraggio dell'AI nella console Firebase includono:

  • Visualizzazione di metriche quantitative come volume di richieste, latenza, errori e utilizzo dei token per modalità per ciascuna delle tue app.

  • Ispezionare le tracce per visualizzare gli attributi, gli input e gli output delle richieste, il che può essere utile per il debug e il miglioramento della qualità.

  • Suddivisione dei dati in base a dimensioni come stato della richiesta, latenza minima, nome del modello e altro ancora.

Tutte queste funzionalità sono create utilizzando Google Cloud Observability Suite (vedi informazioni dettagliate sul prodotto di seguito).

Abilita il monitoraggio AI

Ecco i modi in cui puoi attivare AI Monitoring nella console Firebase:

Requisiti per l'attivazione e l'utilizzo del monitoraggio AI:

  • Devi essere un proprietario, un editor o un amministratore di Firebase Vertex AI del progetto.

  • Il tuo progetto Firebase deve utilizzare il piano tariffario Blaze con pagamento a consumo (vedi le informazioni dettagliate sul prodotto di seguito).

  • Devi utilizzare Vertex AI Gemini API come provider API (il supporto per Gemini Developer API sarà disponibile a breve).

  • La tua app deve utilizzare almeno queste versioni della libreria Firebase:
    iOS+: v11.13.0+ | Android: v16.0.0+ (distinta base: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (distinta base: v3.11.0+) | Unity: v12.9.0+

  • La tua app deve avere la raccolta dei dati di attivazione abilitata (questa opzione è abilitata per impostazione predefinita).

Dopo che la tua app soddisfa questi requisiti e hai attivato il monitoraggio dell'AI nella console, non devi fare altro nell'app o nella console per iniziare a visualizzare i dati che vengono inseriti nelle dashboard nella scheda Firebase AI Logic Monitoraggio dell'AI. Potrebbe verificarsi un leggero ritardo (a volte fino a 5 minuti) prima che la telemetria di una richiesta sia disponibile nella console Firebase.

Utilizzo avanzato

Questa sezione descrive la configurazione della frequenza di campionamento, nonché le diverse opzioni per visualizzare e utilizzare i dati.

Frequenza di campionamento

Se effettui un numero elevato di richieste, ti consigliamo di sfruttare la configurazione della frequenza di campionamento. La frequenza di campionamento indica la proporzione di richieste per le quali vengono effettivamente raccolti i dettagli della traccia.

Nella scheda Firebase AI Logic Impostazioni della console Firebase, puoi configurare la frequenza di campionamento per il tuo progetto con un valore compreso tra 1 e 100%, dove 100% significa che il monitoraggio AI raccoglierà tracce da tutto il tuo traffico. Il valore predefinito è 100%. La raccolta di un numero inferiore di tracce ridurrà i costi, ma anche il numero di tracce che puoi monitorare. Tieni presente che, indipendentemente dalla frequenza di campionamento, i grafici mostrati nella dashboard di monitoraggio rifletteranno sempre il volume effettivo del traffico.

Opzioni aggiuntive al di fuori della console Firebase

Oltre al monitoraggio AI disponibile nella console Firebase, valuta queste opzioni:

  • Esplora Vertex AI Model Garden.
    Queste dashboard forniscono ulteriori informazioni sulle tendenze relative a latenza e velocità effettiva per i modelli gestiti, integrando le informazioni ottenute dal monitoraggio dell'AI nella console Firebase.

  • Esplora e utilizza i tuoi dati con Google Cloud Observability Suite
    Poiché i dati di telemetria per il monitoraggio dell'AI vengono archiviati in Google Cloud Observability Suite associato al tuo progetto, puoi esplorarli nei relativi dashboard, tra cui Trace Explorer e Logs Explorer, che sono collegati al momento in cui ispezioni le singole tracce nella console Firebase. Puoi anche utilizzare i tuoi dati per creare dashboard personalizzate, configurare avvisi e altro ancora.

Informazioni dettagliate sui prodotti utilizzati per il monitoraggio dell'AI

Il monitoraggio dell'AI archivia i dati di telemetria in vari prodotti disponibili in Google Cloud Observability Suite, tra cui Cloud Monitoring, Cloud Trace e Cloud Logging.

  • Cloud Monitoring: memorizza le metriche, tra cui il numero di richieste, il tasso di successo e la latenza delle richieste.

  • Cloud Trace: memorizza le tracce di ogni richiesta in modo che tu possa visualizzare i dettagli singolarmente, anziché in forma aggregata. Una traccia è in genere associata ai log, in modo da poter esaminare i contenuti e la tempistica di ogni interazione.

  • Cloud Logging: acquisisce i metadati di input, output e configurazione per fornire informazioni dettagliate su ogni parte della richiesta di AI.

Poiché i dati di telemetria sono archiviati in questi prodotti, puoi specificare le impostazioni di conservazione e accesso direttamente in ogni prodotto (scopri di più nella documentazione di Cloud Monitoring, Cloud Trace e Cloud Logging). Tieni presente che i prompt effettivi e l'output generato da ogni richiesta campionata vengono archiviati insieme alle metriche.

Prezzi

Google Cloud Observability Suite è un servizio a pagamento, quindi il tuo progetto Firebase deve utilizzare il piano tariffario Blaze con pagamento a consumo. Tuttavia, ogni prodotto ha generosi livelli senza costi. Scopri di più nella documentazione sui prezzi di Google Cloud Observability Suite.

Visualizza le metriche API a livello di progetto nella console Google Cloud

Per ogni API, puoi visualizzare le metriche a livello di progetto, come l'utilizzo, nella console Google Cloud.

Tieni presente che le pagine della console Google Cloud descritte in questa sezione non includono informazioni come il contenuto della richiesta e della risposta e il conteggio dei token. Per monitorare questo tipo di informazioni, valuta la possibilità di utilizzare il monitoraggio dell'AI nella console Firebase (vedi la sezione precedente).

  1. Nella console Google Cloud, vai alla pagina Metriche dell'API che vuoi visualizzare:

    • Vertex AI API: visualizza l'utilizzo associato a qualsiasi richiesta all'Vertex AI Gemini API.

      • Include richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, l'API REST, Vertex AI Studio e così via.

    • Gemini Developer API: visualizza l'utilizzo associato a qualsiasi richiesta all'Gemini Developer API.

      • Include le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, l'API REST, Google AI Studio e così via.
      • Il nome visualizzato di questa API nella console Google Cloud è "API Generative Language".

    Se ti trovi in una "pagina di panoramica" dell'API, fai clic su Gestisci e poi sulla scheda Metriche.

  2. Utilizza i menu a discesa per visualizzare le metriche di interesse, come il traffico per codice di risposta, gli errori per metodo API, la latenza complessiva e la latenza per metodo API.