Surveiller les coûts, l'utilisation et d'autres métriques

Surveiller les coûts, l'utilisation et d'autres métriques de vos fonctionnalités d'IA est une partie importante de l'exécution d'une application en production. Vous devez connaître les tendances d'utilisation normales de votre application et vous assurer de respecter les seuils qui vous intéressent.

Cette page décrit certaines options recommandées pour surveiller vos coûts, votre utilisation et d'autres métriques dans la console Firebase et la console Google Cloud.

Surveiller les coûts

Dans le tableau de bord "Utilisation et facturation" de la console Firebase, vous pouvez consulter les coûts de votre projet pour appeler Vertex AI Gemini API et Gemini Developer API (lorsque vous utilisez le forfait Blaze).

Les coûts affichés dans le tableau de bord ne sont pas nécessairement spécifiques aux appels utilisant les SDK clients Firebase AI Logic. Les coûts affichés sont associés à tous les appels à ces "API Gemini", qu'ils utilisent les SDK clients Firebase AI Logic, les SDK serveur Google GenAI, Genkit, le Firebase Extensions pour le Gemini API, les appels REST, l'un des studios d'IA ou d'autres clients d'API.

En savoir plus sur la tarification des produits associés à votre utilisation de Firebase AI Logic

Configurer les alertes

Pour éviter les mauvaises surprises sur votre facture, veillez à configurer des alertes budgétaires lorsque vous utilisez le forfait Blaze.

Notez que les alertes de budget ne sont pas des plafonds de budget. Une alerte vous sera envoyée lorsque vous approcherez ou dépasserez le seuil que vous avez configuré afin que vous puissiez prendre des mesures dans votre application ou votre projet.

Observer l'utilisation de vos fonctionnalités d'IA dans la console Firebase

Disponible uniquement lorsque vous utilisez Vertex AI Gemini API comme fournisseur d'API.

Vous pouvez activer la surveillance de l'IA sur la page Firebase AI Logic de la console Firebase afin d'observer diverses métriques et utilisations au niveau de l'application afin d'obtenir une visibilité complète sur vos requêtes à partir des SDK client Firebase AI Logic. Ces tableaux de bord sont plus détaillés que les totaux de jetons de base que vous obtenez à partir d'un appel à l'API Count Tokens.

Voici les principales fonctionnalités de la surveillance de l'IA dans la console Firebase:

  • Affichage de métriques quantitatives telles que le volume de requêtes, la latence, les erreurs et l'utilisation des jetons par modalité pour chacune de vos applications.

  • Inspecter les traces pour voir les attributs, les entrées et les sorties de vos requêtes, ce qui peut aider au débogage et à l'amélioration de la qualité.

  • Analyser les données par dimensions telles que l'état de la requête, la latence minimale, le nom du modèle, etc.

Toutes ces fonctionnalités sont créées à l'aide de Google Cloud Observability Suite (voir les informations détaillées sur le produit ci-dessous).

Activer AI Monitoring

Voici comment activer la surveillance de l'IA dans la console Firebase:

Conditions requises pour activer et utiliser AI Monitoring:

  • Vous devez être propriétaire, éditeur ou administrateur Firebase Vertex AI du projet.

  • Votre projet Firebase doit être associé au forfait Blaze avec paiement à l'usage (voir les informations détaillées sur le produit ci-dessous).

  • Vous devez utiliser Vertex AI Gemini API comme fournisseur d'API (la prise en charge de Gemini Developer API sera bientôt disponible).

  • Votre application doit utiliser au moins les versions suivantes de la bibliothèque Firebase:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • La collecte de données nécessitant une confirmation doit être activée dans votre application (elle est activée par défaut).

Une fois que votre application répond à ces exigences et que vous avez activé la surveillance de l'IA dans la console, vous n'avez plus rien à faire dans votre application ni dans la console pour commencer à voir les données remplir les tableaux de bord dans l'onglet Surveillance de l'IA Firebase AI Logic. Un léger délai (parfois jusqu'à cinq minutes) peut s'écouler avant que la télémétrie d'une requête ne soit disponible dans la console Firebase.

Utilisation avancée

Cette section décrit la configuration du taux d'échantillonnage, ainsi que les différentes options d'affichage et de traitement de vos données.

Taux d'échantillonnage

Si vous envoyez un grand nombre de requêtes, nous vous recommandons de profiter de la configuration du taux d'échantillonnage. Le taux d'échantillonnage indique la proportion de requêtes pour lesquelles des données sont réellement collectées.

Dans l'onglet Settings (Paramètres) de la console Firebase, vous pouvez configurer le taux d'échantillonnage de votre projet sur une valeur comprise entre 1 et 100%, où 100% enverra tout votre trafic à la surveillance par IA.Firebase AI Logic Par défaut, cette valeur est de 100 %. Envoyer plus de trafic augmente la précision de vos métriques, mais cela augmente également vos coûts de surveillance. N'oubliez pas que les graphiques affichés dans le tableau de bord de surveillance sont basés sur votre taux d'échantillonnage. Par conséquent, si votre taux d'échantillonnage est de 50 %, vous devez doubler le nombre de requêtes, l'utilisation des jetons, etc. pour estimer le volume réel.

Autres options en dehors de la console Firebase

En plus de la surveillance de l'IA disponible dans la console Firebase, envisagez les options suivantes:

  • Explorez Vertex AI Model Garden.
    Ces tableaux de bord fournissent des insights supplémentaires sur les tendances de la latence et du débit pour les modèles gérés, complétant les insights de la surveillance de l'IA dans la console Firebase.

  • Explorez et utilisez vos données avec Google Cloud Observability Suite
    . Étant donné que les données de télémétrie pour la surveillance de l'IA sont stockées dans Google Cloud Observability Suite associé à votre projet, vous pouvez explorer vos données dans ses tableaux de bord, y compris Trace Explorer et Logs Explorer, qui sont liés au moment où vous inspectez vos traces individuelles dans la console Firebase. Vous pouvez également utiliser vos données pour créer des tableaux de bord personnalisés, configurer des alertes et plus encore.

Informations détaillées sur les produits utilisés pour la surveillance de l'IA

La surveillance par IA stocke vos données de télémétrie dans divers produits disponibles dans Google Cloud Observability Suite, y compris Cloud Monitoring, Cloud Trace et Cloud Logging.

  • Cloud Monitoring: stocke des métriques, y compris le nombre de requêtes, le taux de réussite et la latence des requêtes.

  • Cloud Trace: stocke des traces pour chacune de vos requêtes afin que vous puissiez afficher les détails individuellement, plutôt que de manière globale. Une trace est généralement associée aux journaux afin que vous puissiez examiner le contenu et le timing de chaque interaction.

  • Cloud Logging: capture les métadonnées d'entrée, de sortie et de configuration pour fournir des informations détaillées sur chaque partie de votre requête d'IA.

Étant donné que vos données de télémétrie sont stockées dans ces produits, vous pouvez spécifier vos paramètres de conservation et d'accès directement dans chaque produit (pour en savoir plus, consultez la documentation sur Cloud Monitoring, Cloud Trace et Cloud Logging). Notez que les invites réelles et la sortie générée de chaque requête échantillonnée sont stockées avec les métriques.

Tarifs

Google Cloud Observability Suite est un service payant. Votre projet Firebase doit donc disposer du forfait Blaze avec paiement à l'usage. Toutefois, chaque produit propose des niveaux d'utilisation sans frais généreux. Pour en savoir plus, consultez la documentation sur les tarifs Google Cloud Observability Suite.

Afficher les métriques des API au niveau du projet dans la console Google Cloud

Pour chaque API, vous pouvez consulter les métriques au niveau du projet, comme l'utilisation, dans la console Google Cloud.

Notez que les pages de la console Google Cloud décrites dans cette section n'incluent pas des informations telles que le contenu de la requête et de la réponse, ni le nombre de jetons. Pour surveiller ce type d'informations, envisagez d'utiliser la surveillance de l'IA dans la console Firebase (voir la section précédente).

  1. Dans la console Google Cloud, accédez à la page Métriques de l'API que vous souhaitez afficher:

    • API Vertex AI : affichez l'utilisation associée à toute requête envoyée à Vertex AI Gemini API.

      • Inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK serveur Google GenAI, Genkit, le Firebase Extensions pour le Gemini API, l'API REST, Vertex AI Studio, etc.

    • Gemini Developer API : affichez l'utilisation associée à toute requête envoyée à Gemini Developer API.

      • Inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK serveur Google GenAI, Genkit, le Firebase Extensions pour le Gemini API, l'API REST, Google AI Studio, etc.
      • Le nom à afficher de cette API dans la console Google Cloud est "API Generative Language".

    Si vous vous trouvez sur une page "Vue d'ensemble" de l'API, cliquez sur Gérer, puis sur l'onglet Métriques.

  2. Utilisez les menus déroulants pour afficher les métriques qui vous intéressent, comme le trafic par code de réponse, les erreurs par méthode d'API, la latence globale et la latence par méthode d'API.