Monitorare costi, utilizzo e altre metriche

Il monitoraggio dei costi, dell'utilizzo e di altre metriche delle funzionalità di IA è un aspetto importante per l'esecuzione di un'app di produzione. Devi sapere quali sono i modelli di utilizzo normali per la tua app e assicurarti di rispettare le soglie che ti interessano.

Questa pagina descrive alcune opzioni consigliate per monitorare i costi, l'utilizzo e altre metriche sia nella console Firebase sia nella console Google Cloud.

Monitorare i costi

Nella dashboard Utilizzo e fatturazione della console Firebase, puoi visualizzare i costi del progetto per le chiamate ai servizi Vertex AI Gemini API e Gemini Developer API (se utilizzi il piano tariffario Blaze).

I costi visualizzati nella dashboard non sono necessariamente specifici per le chiamate che utilizzano gli SDK client Firebase AI Logic. I costi visualizzati sono associati a qualsiasi chiamata a queste "API Gemini", che utilizzino gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, chiamate REST, uno degli AI Studio o altri client API.

Scopri di più sui prezzi dei prodotti associati al tuo utilizzo di Firebase AI Logic.

Configura avvisi

Per evitare sorprese in fattura, assicurati di configurare gli avvisi relativi al budget quando utilizzi il piano tariffario Blaze.

Tieni presente che gli avvisi relativi al budget non sono limiti di budget. Un avviso ti invierà comunicazioni quando ti stai avvicinando o hai superato la soglia configurata, in modo da poter intervenire nella tua app o nel tuo progetto.

Monitora l'utilizzo delle funzionalità di AI nella console Firebase

Disponibile solo se utilizzi Vertex AI Gemini API come fornitore di API.

Puoi attivare il monitoraggio dell'IA nella pagina Firebase AI Logic della console Firebase in modo da poter osservare varie metriche e utilizzi a livello di app per ottenere una visibilità completa delle tue richieste dagli SDK client Firebase AI Logic. Queste dashboard sono più approfondite rispetto ai conteggi di token di base che ottieni da una chiamata all'API Count Tokens.

Le funzionalità principali del monitoraggio dell'IA nella console Firebase includono:

  • Visualizzazione di metriche quantitative come volume di richieste, latenza, errori e utilizzo dei token per modalità per ciascuna delle tue app.

  • Ispezione delle tracce per visualizzare gli attributi, gli input e gli output delle richieste, che può essere utile per il debug e il miglioramento della qualità.

  • Tagliare i dati in base a dimensioni come stato della richiesta, latenza minima, nome del modello e altro ancora.

Tutte queste funzionalità sono create utilizzando Google Cloud Observability Suite (vedi informazioni dettagliate sul prodotto di seguito).

Abilita il monitoraggio AI

Ecco i modi in cui puoi attivare il monitoraggio AI nella consoleFirebase:

Requisiti per attivare e utilizzare il monitoraggio AI:

  • Devi essere un proprietario, un editor o un amministratore di Firebase Vertex AI del progetto.

  • Il progetto Firebase deve utilizzare il piano tariffario Blaze con pagamento a consumo (consulta le informazioni dettagliate sul prodotto di seguito).

  • Devi utilizzare Vertex AI Gemini API come provider API (il supporto di Vertex AI Gemini API sarà disponibile a breve).Gemini Developer API

  • La tua app deve utilizzare almeno queste versioni delle librerie Firebase:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • La raccolta dei dati di attivazione deve essere attivata nella tua app (l'opzione è attivata per impostazione predefinita).

Dopo che l'app soddisfa questi requisiti e hai attivato il monitoraggio dell'IA nella console, non devi fare altro nell'app o nella console per iniziare a visualizzare i dati che compilano le dashboard nella scheda Firebase AI Logic Monitoraggio dell'IA. Potrebbe verificarsi un lieve ritardo (a volte fino a 5 minuti) prima che la telemetria di una richiesta sia disponibile nella console Firebase.

Utilizzo avanzato

Questa sezione descrive la configurazione della frequenza di campionamento, nonché diverse opzioni per visualizzare e utilizzare i dati.

Frequenza di campionamento

Se effettui un numero elevato di richieste, ti consigliamo di sfruttare la configurazione della frequenza di campionamento. La frequenza di campionamento indica la proporzione di richieste per le quali vengono effettivamente raccolti i dati.

Nella Firebase AI Logic Impostazioni scheda della console Firebase, puoi configurare la frequenza di campionamento per il progetto su un valore compreso tra 1 e 100%, dove 100% invierà tutto il traffico al monitoraggio dell'IA. Il valore predefinito è 100%. L'invio di più traffico aumenterà l'accuratezza delle metriche, ma aumenterà anche il costo del monitoraggio. Tieni presente che i grafici mostrati nella dashboard di monitoraggio si basano sulla frequenza di campionamento, quindi se la frequenza di campionamento è del 50%, devi raddoppiare il numero di richieste, l'utilizzo di token e così via per stimare il volume effettivo.

Opzioni aggiuntive al di fuori della console Firebase

Oltre al monitoraggio dell'IA disponibile nella console Firebase, valuta queste opzioni:

  • Esplora Model Garden di Vertex AI.
    Queste dashboard forniscono ulteriori informazioni sulle tendenze relative a latenza e throughput per i modelli gestiti, integrando le informazioni del monitoraggio dell'IA nella console Firebase.

  • Esplora e utilizza i tuoi dati con Google Cloud Observability Suite
    Poiché i dati di telemetria per il monitoraggio dell'IA vengono archiviati in Google Cloud Observability Suite associato al tuo progetto, puoi esplorare i tuoi dati nelle relative dashboard, inclusi Trace Explorer e Logs Explorer, a cui si accede quando esamini le singole tracce nella console Firebase. Puoi anche utilizzare i tuoi dati per creare dashboard personalizzate, configurare avvisi e altro ancora.

Informazioni dettagliate sui prodotti utilizzati per il monitoraggio dell'IA

Il monitoraggio AI archivia i dati di telemetria in vari prodotti disponibili in Google Cloud Observability Suite, tra cui Cloud Monitoring, Cloud Trace e Cloud Logging.

  • Cloud Monitoring: memorizza le metriche, tra cui il numero di richieste, il tasso di successo e la latenza delle richieste.

  • Cloud Trace: memorizza le tracce per ogni richiesta in modo da poter visualizzare i dettagli singolarmente anziché in forma aggregata. In genere, una traccia viene associata ai log in modo da poter esaminare i contenuti e la tempistica di ogni interazione.

  • Cloud Logging: acquisisce i metadati di input, output e configurazione per fornire dettagli dettagliati su ogni parte della richiesta di IA.

Poiché i dati di telemetria vengono archiviati in questi prodotti, puoi specificare le impostazioni di conservazione e accesso direttamente all'interno di ciascun prodotto (scopri di più nella documentazione di Cloud Monitoring, Cloud Trace e Cloud Logging). Tieni presente che i prompt effettivi e l'output generato da ogni richiesta campionata vengono archiviati insieme alle metriche.

Prezzi

Google Cloud Observability Suite è un servizio a pagamento, pertanto il tuo progetto Firebase deve utilizzare il piano tariffario Blaze con pagamento a consumo. Tuttavia, ogni prodotto offre generosi livelli senza costi. Scopri di più nella documentazione sui prezzi di Google Cloud Observability Suite.

Visualizzare le metriche API a livello di progetto nella console Google Cloud

Per ogni API, puoi visualizzare le metriche a livello di progetto, come l'utilizzo, nella consoleGoogle Cloud.

Tieni presente che le pagine della console Google Cloud descritte in questa sezione non includono informazioni come i contenuti della richiesta e della risposta e il numero di token. Per monitorare questo tipo di informazioni, ti consigliamo di utilizzare il monitoraggio dell'IA nella console Firebase (vedi la sezione precedente).

  1. Nella console Google Cloud, vai alla pagina Metriche dell'API che vuoi visualizzare:

    • API Vertex AI: visualizza l'utilizzo associato a qualsiasi richiesta al servizioVertex AI Gemini API.

      • Sono incluse le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server di IA generativa di Google, Genkit, Firebase Extensions per Gemini API, l'API REST, Vertex AI Studio e così via.

    • Gemini Developer API: visualizza l'utilizzo associato a qualsiasi richiesta al servizio Gemini Developer API.

      • Sono incluse le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server di Google GenAI, Genkit, Firebase Extensions per Gemini API, l'API REST, Google AI Studio e così via.
      • Il nome visualizzato di questa API nella console Google Cloud è "API di linguaggio generativo".

    Se ti trovi in una "pagina di panoramica" dell'API, fai clic su Gestisci e poi sulla scheda Metriche.

  2. Utilizza i menu a discesa per visualizzare le metriche di tuo interesse, ad esempio il traffico per codice di risposta, gli errori per metodo API, la latenza complessiva e la latenza per metodo API.