Supervisa los costos, el uso y otras métricas

Supervisar los costos, el uso y otras métricas de tus funciones de IA es una parte importante de ejecutar una app de producción. Debes saber cómo se ven los patrones de uso normales para la app y asegurarte de cumplir con los umbrales que te interesan.

En esta página, se describen algunas opciones recomendadas para supervisar tus costos, el uso y otras métricas en la consola de Firebase y la de Google Cloud.

Supervisa los costos

En el panel Uso y facturación de Firebase console, puedes ver los costos de tu proyecto por llamar a Vertex AI Gemini API y Gemini Developer API (cuando tienes el plan de precios Blaze).

Los costos que se muestran en el panel no son necesariamente específicos de las llamadas que usan los SDKs de cliente Firebase AI Logic. Los costos que se muestran están asociados con cualquier llamada a esas "APIs de Gemini", ya sea que usen los SDK de cliente Firebase AI Logic, los SDK de servidor de Google GenAI, Genkit, el Firebase Extensions para Gemini API, las llamadas REST, uno de los AI Studios o cualquier otro cliente de API.

Obtén más información sobre los precios de los productos asociados con el uso de Firebase AI Logic.

Configurar las alertas

Para evitar facturas inesperadas, asegúrate de configurar alertas de presupuesto cuando tengas el plan de precios Blaze.

Ten en cuenta que las alertas de presupuesto no son límites de presupuesto. Una alerta te enviará comunicaciones cuando te acerques o superes el umbral configurado para que puedas tomar medidas en tu app o proyecto.

Observa el uso de tus funciones potenciadas por IA en Firebase console

Solo está disponible cuando usas Vertex AI Gemini API como proveedor de la API.

Puedes habilitar la supervisión de IA en la página Firebase AI Logic de la consola Firebase para observar varias métricas y usos a nivel de la app y obtener visibilidad integral de tus solicitudes desde los SDKs de cliente Firebase AI Logic. Estos paneles son más detallados que los recuentos de tokens básicos que obtienes de una llamada a la API de Count Tokens.

Entre las funciones clave de la supervisión de IA en la consola de Firebase, se incluyen las siguientes:

  • Consultar métricas cuantitativas, como el volumen de solicitudes, la latencia, los errores y el uso de tokens por modalidad para cada una de tus apps

  • Inspeccionar los seguimientos para ver los atributos, las entradas y las salidas de tus solicitudes, lo que puede ayudar con la depuración y la mejora de la calidad.

  • Segmentar los datos por dimensiones, como el estado de la solicitud, la latencia mínima, el nombre del modelo y mucho más

Todas estas funciones se compilan con Google Cloud Observability Suite (consulta la información detallada del producto a continuación).

Habilitar AI Monitoring

Estas son las formas en que puedes habilitar la supervisión de IA en la consola de Firebase:

Requisitos para habilitar y usar la supervisión de IA:

  • Debes ser propietario, editor o administrador de Firebase Vertex AI del proyecto.

  • Tu proyecto de Firebase debe tener el plan de precios Blaze de pago por uso (consulta la información detallada del producto a continuación).

  • Debes usar Vertex AI Gemini API como proveedor de la API (la compatibilidad con Gemini Developer API estará disponible pronto).

  • Tu app debe usar como mínimo estas versiones de la biblioteca de Firebase:
    iOS y versiones posteriores: v11.13.0 y versiones posteriores | Android: v16.0.0 y versiones posteriores (BoM: v33.14.0 y versiones posteriores) | Web: v11.8.0 y versiones posteriores | Flutter: v2.0.0 y versiones posteriores (BoM: v3.11.0 y versiones posteriores) | Unity: v12.9.0 y versiones posteriores

  • Tu app debe tener habilitada la recopilación de datos con solicitud de aceptación (enabled) (está habilitada de forma predeterminada).

Una vez que tu app cumpla con estos requisitos y habilites la supervisión de IA en la consola, no necesitarás hacer nada más en la app ni en la consola para comenzar a ver cómo los datos completan los paneles en la pestaña Supervisión de IA de Firebase AI Logic. Puede haber una ligera demora (a veces, de hasta 5 minutos) antes de que la telemetría de una solicitud esté disponible en la consola de Firebase.

Uso avanzado

En esta sección, se describe la configuración de la tasa de muestreo, así como las diferentes opciones para ver y trabajar con tus datos.

Tasa de muestreo

Si realizas una gran cantidad de solicitudes, te recomendamos que aproveches la configuración de la tasa de muestreo. La tasa de muestreo indica la proporción de solicitudes para las que se recopilan datos.

En la pestaña Configuración de Firebase AI Logic console, puedes configurar la tasa de muestreo de tu proyecto en un valor de 1 a 100%, en el que el 100% enviará todo tu tráfico a la supervisión de la IA.Firebase Es del 100% de forma predeterminada. Enviar más tráfico aumentará la precisión de tus métricas. Sin embargo, también aumentará el costo de supervisión. Ten en cuenta que los gráficos que se muestran en el panel de supervisión se basan en tu tasa de muestreo, por lo que, si es del 50%, debes duplicar la cantidad de solicitudes, el uso de tokens, etc., para estimar el volumen real.

Opciones adicionales fuera de la consola de Firebase

Además de la supervisión de IA disponible en la consola de Firebase, considera estas opciones:

  • Explora Vertex AI Model Garden.
    Estos paneles proporcionan más estadísticas de tendencias sobre la latencia y la capacidad de procesamiento de los modelos administrados, lo que complementa tus estadísticas de la supervisión de IA en la consola de Firebase.

  • Explora y usa tus datos con Google Cloud Observability Suite
    Dado que los datos de telemetría para la supervisión de IA se almacenan en Google Cloud Observability Suite asociado con tu proyecto, puedes explorar tus datos en sus paneles, incluidos Trace Explorer y Logs Explorer, que se vinculan cuando inspeccionas tus seguimientos individuales en la consola de Firebase. También puedes usar tus datos para crear paneles personalizados, configurar alertas y mucho más.

Información detallada sobre los productos que se usan para la supervisión de IA

La supervisión de IA almacena tus datos de telemetría en varios productos disponibles en Google Cloud Observability Suite, incluidos Cloud Monitoring, Cloud Trace y Cloud Logging.

  • Cloud Monitoring: Almacena métricas, incluida la cantidad de solicitudes, la tasa de éxito y la latencia de la solicitud.

  • Cloud Trace: Almacena registros de cada una de tus solicitudes para que puedas ver los detalles de forma individual, en lugar de de forma agregada. Por lo general, un seguimiento se asocia con los registros para que puedas examinar el contenido y los tiempos de cada interacción.

  • Cloud Logging: Captura metadatos de entrada, salida y configuración para proporcionar detalles enriquecidos sobre cada parte de tu solicitud de IA.

Dado que tus datos de telemetría se almacenan en estos productos, puedes especificar la configuración de retención y acceso directamente en cada uno de ellos (obtén más información en la documentación de Cloud Monitoring, Cloud Trace y Cloud Logging). Ten en cuenta que las indicaciones reales y el resultado generado de cada solicitud muestreada se almacenan junto con las métricas.

Precios

Google Cloud Observability Suite es un servicio pagado, por lo que tu proyecto de Firebase debe tener el plan de precios Blaze de pago por uso. Sin embargo, cada producto tiene niveles generosos sin costo. Obtén más información en la documentación de precios de Google Cloud Observability Suite.

Consulta las métricas de la API a nivel del proyecto en la consola de Google Cloud

Para cada API, puedes ver las métricas a nivel del proyecto, como el uso, en la console de Google Cloud.

Ten en cuenta que las páginas de la consola de Google Cloud que se describen en esta sección no incluyen información como el contenido de la solicitud y la respuesta, ni el recuento de tokens. Para supervisar ese tipo de información, considera usar la supervisión de IA en la consola de Firebase (consulta la sección anterior).

  1. En la consola de Google Cloud, ve a la página Métricas de la API que deseas ver:

    • API de Vertex AI: Consulta el uso asociado con cualquier solicitud a Vertex AI Gemini API.

      • Incluye solicitudes que usan los SDK de cliente Firebase AI Logic, los SDK de servidor de Google GenAI, Genkit, el Firebase Extensions para Gemini API, la API de REST, Vertex AI Studio, etcétera.

    • Gemini Developer API: Consulta el uso asociado con cualquier solicitud a Gemini Developer API.

      • Incluye solicitudes que usan los SDK de cliente Firebase AI Logic, los SDK de servidor de Google GenAI, Genkit, Firebase Extensions para Gemini API, la API de REST, Google AI Studio, etcétera.
      • El nombre visible de esta API en la consola de Google Cloud es "API de lenguaje generativo".

    Si te encuentras en una "página de descripción general" de la API, haz clic en Administrar y, luego, en la pestaña Métricas.

  2. Usa los menús desplegables para ver las métricas de interés, como el tráfico por código de respuesta, los errores por método de API, la latencia general y la latencia por método de API.