Surveiller les coûts, l'utilisation et d'autres métriques

La surveillance des coûts, de l'utilisation et d'autres métriques de vos fonctionnalités d'IA est un élément important de l'exécution d'une application de production. Vous devez connaître les modèles d'utilisation normaux de votre application et vous assurer de rester dans les limites qui vous intéressent.

Cette page décrit certaines options recommandées pour surveiller vos coûts, votre utilisation et d'autres métriques dans les consoles Firebase et Google Cloud.

Surveiller les coûts

Dans le tableau de bord Utilisation et facturation de la console Firebase, vous pouvez consulter les coûts de votre projet pour l'appel de Vertex AI Gemini API et de Gemini Developer API (si vous avez souscrit le forfait Blaze).

Les coûts affichés dans le tableau de bord ne sont pas nécessairement spécifiques aux appels utilisant les SDK client Firebase AI Logic. Les coûts affichés sont associés à tous les appels à ces "API Gemini", qu'ils utilisent les SDK clients Firebase AI Logic, les SDK serveur Google GenAI, Genkit, Firebase Extensions pour Gemini API, les appels REST, l'un des AI Studios ou d'autres clients API.

En savoir plus sur les tarifs des produits associés à votre utilisation de Firebase AI Logic

Configurer les alertes

Pour éviter les mauvaises surprises sur votre facture, assurez-vous de configurer des alertes budgétaires lorsque vous utilisez le forfait Blaze.

Notez que les alertes de budget ne sont pas des plafonds budgétaires. Une alerte vous envoie des communications lorsque vous approchez ou dépassez le seuil configuré. Vous pouvez ainsi prendre des mesures dans votre application ou votre projet.

Observer l'utilisation de vos fonctionnalités d'IA dans la console Firebase

Disponible uniquement lorsque vous utilisez Vertex AI Gemini API comme fournisseur d'API.

Vous pouvez activer la surveillance de l'IA sur la page Firebase AI Logic de la console Firebase pour observer diverses métriques et utilisations au niveau de l'application. Vous obtiendrez ainsi une visibilité complète sur vos requêtes à partir des SDK clients Firebase AI Logic. Ces tableaux de bord sont plus détaillés que les nombres de jetons de base que vous obtenez en appelant l'API Count Tokens.

Voici les principales fonctionnalités de surveillance de l'IA dans la console Firebase :

  • Afficher des métriques quantitatives telles que le volume de requêtes, la latence, les erreurs et l'utilisation de jetons par modalité pour chacune de vos applications.

  • Inspecter les traces pour voir les attributs, les entrées et les sorties de vos requêtes, ce qui peut vous aider à déboguer et à améliorer la qualité.

  • segmenter les données par dimensions telles que l'état de la requête, la latence minimale, le nom du modèle, etc. ;

Toutes ces fonctionnalités sont conçues à l'aide de Google Cloud Observability Suite (voir les informations détaillées sur le produit ci-dessous).

Activer AI Monitoring

Voici comment activer AI Monitoring dans la console Firebase :

Conditions requises pour activer et utiliser AI Monitoring :

  • Vous devez être propriétaire ou éditeur du projet, ou administrateur Firebase Vertex AI.

  • Votre projet Firebase doit être associé au forfait Blaze avec paiement à l'usage (consultez les informations détaillées sur le produit ci-dessous).

  • Vous devez utiliser Vertex AI Gemini API comme fournisseur d'API (la compatibilité avec Gemini Developer API sera bientôt disponible).

  • Votre application doit utiliser au minimum les versions suivantes des bibliothèques Firebase :
    iOS+ : v11.13.0+ | Android : v16.0.0+ (BoM : v33.14.0+) | Web : v11.8.0+ | Flutter : v2.0.0+ (BoM : v3.11.0+) | Unity : v12.9.0+

  • La collecte des données d'acceptation doit être activée dans votre application (elle l'est par défaut).

Une fois que votre application répond à ces exigences et que vous avez activé la surveillance de l'IA dans la console, vous n'avez rien d'autre à faire dans votre application ni dans la console pour que les données s'affichent dans les tableaux de bord de l'onglet Firebase AI Logic Surveillance de l'IA. Il peut y avoir un léger délai (parfois jusqu'à cinq minutes) avant que la télémétrie d'une requête ne soit disponible dans la console Firebase.

Utilisation avancée

Cette section décrit la configuration du taux d'échantillonnage, ainsi que différentes options pour afficher et utiliser vos données.

Taux d'échantillonnage

Si vous effectuez un grand nombre de requêtes, nous vous recommandons de profiter de la configuration du taux d'échantillonnage. Le taux d'échantillonnage indique la proportion de requêtes pour lesquelles les détails des traces sont réellement collectés.

Dans l'onglet Firebase AI Logic Paramètres de la console Firebase, vous pouvez configurer le taux d'échantillonnage de votre projet sur une valeur comprise entre 1 et 100 %. 100 % signifie que la surveillance de l'IA collectera les traces de l'ensemble de votre trafic. La valeur par défaut est de 100 %. La collecte d'un nombre réduit de traces diminuera vos coûts, mais aussi le nombre de traces que vous pourrez surveiller. Notez que, quel que soit votre taux d'échantillonnage, les graphiques affichés dans le tableau de bord de surveillance refléteront toujours le volume de trafic réel.

Options supplémentaires en dehors de la console Firebase

En plus de la surveillance de l'IA disponible dans la console Firebase, pensez aux options suivantes :

  • Explorez Vertex AI Model Garden.
    Ces tableaux de bord fournissent des insights supplémentaires sur les tendances de la latence et du débit des modèles gérés, en complément de ceux fournis par la surveillance de l'IA dans la console Firebase.

  • Explorer et utiliser vos données avec Google Cloud Observability Suite
    Étant donné que les données de télémétrie pour la surveillance de l'IA sont stockées dans Google Cloud Observability Suite associé à votre projet, vous pouvez explorer vos données dans ses tableaux de bord, y compris Trace Explorer et Logs Explorer, qui sont associés lorsque vous inspectez vos traces individuelles dans la console Firebase. Vous pouvez également utiliser vos données pour créer des tableaux de bord personnalisés, configurer des alertes et plus encore.

Informations détaillées sur les produits utilisés pour la surveillance de l'IA

La surveillance de l'IA stocke vos données de télémétrie dans différents produits disponibles dans Google Cloud Observability Suite, y compris Cloud Monitoring, Cloud Trace et Cloud Logging.

  • Cloud Monitoring : stocke les métriques, y compris le nombre de requêtes, le taux de réussite et la latence des requêtes.

  • Cloud Trace : stocke les traces de chacune de vos requêtes afin que vous puissiez afficher les détails individuellement, au lieu de les afficher de manière agrégée. Une trace est généralement associée à des journaux pour vous permettre d'examiner le contenu et le timing de chaque interaction.

  • Cloud Logging : capture les métadonnées d'entrée, de sortie et de configuration pour fournir des informations détaillées sur chaque partie de votre requête d'IA.

Étant donné que vos données de télémétrie sont stockées dans ces produits, vous pouvez spécifier vos paramètres de conservation et d'accès directement dans chacun d'eux (pour en savoir plus, consultez la documentation de Cloud Monitoring, Cloud Trace et Cloud Logging). Notez que les requêtes réelles et les résultats générés de chaque requête échantillonnée sont stockés avec les métriques.

Tarifs

Google Cloud Observability Suite est un service payant. Votre projet Firebase doit donc disposer du forfait Blaze avec paiement à l'usage. Toutefois, chaque produit propose des niveaux d'utilisation sans frais généreux. Pour en savoir plus, consultez la documentation sur les tarifs de Google Cloud Observability Suite.

Afficher les métriques d'API au niveau du projet dans la console Google Cloud

Pour chaque API, vous pouvez afficher des métriques au niveau du projet, comme l'utilisation, dans la console Google Cloud.

Notez que les pages de la console Google Cloud décrites dans cette section n'incluent pas d'informations telles que le contenu des requêtes et des réponses, et le nombre de jetons. Pour surveiller ce type d'informations, envisagez d'utiliser la surveillance de l'IA dans la console Firebase (voir la section précédente).

  1. Dans la console Google Cloud, accédez à la page Métriques de l'API que vous souhaitez afficher :

    • API Vertex AI : affichez l'utilisation associée à n'importe quelle requête adressée à Vertex AI Gemini API.

      • Cela inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK serveur Google GenAI Genkit, Firebase Extensions pour Gemini API, l'API REST Vertex AI Studio, etc.

    • Gemini Developer API : affiche l'utilisation associée à n'importe quelle requête adressée à Gemini Developer API.

      • Cela inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK serveur Google GenAI Genkit, Firebase Extensions pour Gemini API, l'API REST Google AI Studio, etc.
      • Le nom à afficher de cette API dans la console Google Cloud est "Generative Language API".

    Si vous vous trouvez sur une page de présentation de l'API, cliquez sur Gérer, puis sur l'onglet Métriques.

  2. Utilisez les menus déroulants pour afficher les métriques qui vous intéressent, comme le trafic par code de réponse, les erreurs par méthode d'API, la latence globale et la latence par méthode d'API.