Monitorar custos, uso e outras métricas

Monitorar os custos, o uso e outras métricas dos seus recursos de IA é uma parte importante da execução de um app de produção. Você precisa saber como são os padrões de uso normais do seu app e garantir que está dentro dos limites importantes para você.

Esta página descreve algumas opções recomendadas para monitorar custos, uso e outras métricas no console Firebase e Google Cloud.

Monitorar custos

No painel Uso e faturamento do console do Firebase, é possível conferir os custos do projeto para chamar o Vertex AI Gemini API e o Gemini Developer API (quando você está no plano de preços Blaze).

Os custos mostrados no painel não são necessariamente específicos para chamadas que usam os SDKs de cliente Firebase AI Logic. Os custos exibidos estão associados a qualquer chamada para essas "APIs Gemini", seja usando os SDKs de cliente Firebase AI Logic, os SDKs de servidor do Google GenAI, Genkit, o Firebase Extensions para o Gemini API, chamadas REST, um dos estúdios de IA ou outros clientes de API.

Saiba mais sobre os preços dos produtos associados ao uso de Firebase AI Logic.

Configurar alerta

Para evitar surpresas na fatura, configure alertas de orçamento quando estiver no plano de preços Blaze.

Os alertas de orçamento não são limites de orçamento. Um alerta vai enviar comunicações quando você estiver se aproximando ou ultrapassar o limite configurado para que você possa tomar medidas no seu app ou projeto.

Observar o uso dos recursos de IA no console do Firebase

Disponível apenas ao usar o Vertex AI Gemini API como seu provedor de API.

É possível ativar o monitoramento de IA na página Firebase AI Logic do console Firebase para observar várias métricas e usos no nível do app e ter visibilidade abrangente das solicitações dos SDKs de cliente Firebase AI Logic. Esses painéis são mais detalhados do que as contagens de tokens básicas que você recebe de uma chamada para a API Count Tokens.

Os principais recursos do monitoramento de IA no console Firebase incluem:

  • Visualizar métricas quantitativas, como volume de solicitações, latência, erros e uso de tokens por modalidade para cada um dos seus apps.

  • Inspecionar rastros para conferir os atributos, as entradas e as saídas das suas solicitações, o que pode ajudar na depuração e na melhoria da qualidade.

  • Dividir os dados por dimensões, como status da solicitação, latência mínima, nome do modelo e muito mais.

Todos esses recursos são criados usando Google Cloud Observability Suite (consulte as informações detalhadas do produto abaixo).

Ativar o Monitoramento de IA

Confira como ativar o Monitoramento de IA no console Firebase:

Requisitos para ativar e usar o monitoramento de IA:

  • Você precisa ser proprietário, editor ou administrador do Vertex AI do Firebase.

  • Seu projeto do Firebase precisa estar no plano de preços Blaze de pagamento por uso. Consulte as informações detalhadas do produto abaixo.

  • Você precisa usar o Vertex AI Gemini API como provedor de API. O suporte para Gemini Developer API será disponibilizado em breve.

  • O app precisa usar pelo menos estas versões da biblioteca do Firebase:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • A coleta de dados precisa estar ativada no seu app (por padrão).

Depois que o app atender a esses requisitos e você ativar o monitoramento de IA no console, não será necessário fazer mais nada no app ou no console para começar a ver os dados preenchendo os painéis na Firebase AI Logic AI monitoring. Pode haver um pequeno atraso (às vezes de até cinco minutos) até que a telemetria de uma solicitação fique disponível no console Firebase.

Uso avançado

Esta seção descreve a configuração da taxa de amostragem e as diferentes opções para visualizar e trabalhar com seus dados.

Taxa de amostra

Se você estiver fazendo um grande número de solicitações, recomendamos aproveitar a configuração da taxa de amostragem. A taxa de amostragem indica a proporção de solicitações para as quais os dados são realmente coletados.

Na guia Firebase AI Logic Configurações do console do Firebase, é possível configurar a taxa de amostragem do projeto para um valor de 1 a 100%, em que 100% vai enviar todo o tráfego para o monitoramento de IA. O padrão é 100%. Enviar mais tráfego aumenta a precisão das suas métricas, mas também aumenta o custo do monitoramento. Os gráficos mostrados no painel de monitoramento são baseados na sua taxa de amostragem. Portanto, se a taxa de amostragem for de 50%, você precisará dobrar o número de solicitações, uso de tokens etc. para estimar o volume real.

Outras opções fora do console Firebase

Além do monitoramento de IA disponível no console Firebase, considere estas opções:

  • Conheça o Model Garden da Vertex AI.
    Esses painéis fornecem mais insights sobre a tendência de latência e taxa de transferência dos modelos gerenciados, complementando seus insights do monitoramento de IA no console do Firebase.

  • Analise e use seus dados com o Google Cloud Observability Suite
    . Como os dados de telemetria do monitoramento de IA são armazenados no Google Cloud Observability Suite associado ao seu projeto, é possível analisar os dados nos painéis, incluindo Trace Explorer e Logs Explorer, que são vinculados quando você inspeciona os rastros individuais no console Firebase. Também é possível usar seus dados para criar painéis personalizados, configurar alertas e muito mais.

Informações detalhadas sobre os produtos usados para o monitoramento de IA

O monitoramento de IA armazena seus dados de telemetria em vários produtos disponíveis em Google Cloud Observability Suite, incluindo Cloud Monitoring, Cloud Trace e Cloud Logging.

  • Cloud Monitoring: armazena métricas, incluindo o número de solicitações, a taxa de sucesso e a latência da solicitação.

  • Cloud Trace: armazena rastros para cada uma das suas solicitações para que você possa acessar os detalhes individualmente, em vez de de forma agregada. Um rastro normalmente é associado a registros para que você possa examinar o conteúdo e o tempo de cada interação.

  • Cloud Logging: captura metadados de entrada, saída e configuração para fornecer detalhes sobre cada parte da solicitação de IA.

Como seus dados de telemetria são armazenados nesses produtos, você pode especificar suas configurações de retenção e acesso diretamente em cada produto. Saiba mais na documentação de Cloud Monitoring, Cloud Trace e Cloud Logging. Observe que as solicitações e a saída gerada de cada solicitação de amostra são armazenadas junto com as métricas.

Preços

O Google Cloud Observability Suite é um serviço pago. Portanto, seu projeto do Firebase precisa estar no plano de preços Blaze de pagamento por uso. No entanto, cada produto tem níveis generosos sem custos. Saiba mais na documentação de preços da Google Cloud Observability Suite.

Conferir as métricas da API no nível do projeto no console Google Cloud

Para cada API, é possível conferir métricas no nível do projeto, como o uso, no console do Google Cloud.

As páginas do console Google Cloud descritas nesta seção não incluem informações como conteúdo de solicitação e resposta e contagem de tokens. Para monitorar esse tipo de informação, use o monitoramento de IA no console Firebase (consulte a seção anterior).

  1. No console Google Cloud, acesse a página Métricas da API que você quer consultar:

    • API Vertex AI: confira o uso associado a qualquer solicitação para a Vertex AI Gemini API.

      • Inclui solicitações que usam SDKs de cliente Firebase AI Logic, SDKs de servidor do Google GenAI, Genkit, Firebase Extensions para Gemini API, API REST, Vertex AI Studio etc.

    • Gemini Developer API: confira o uso associado a qualquer solicitação para o Gemini Developer API.

      • Inclui solicitações que usam os SDKs do cliente Firebase AI Logic, os SDKs do servidor do Google GenAI, Genkit, o Firebase Extensions para o Gemini API, a API REST, Google AI Studio etc.
      • O nome de exibição dessa API no console do Google Cloud é "API Generative Language".

    Se você estiver em uma "página de visão geral" da API, clique em Gerenciar e na guia Métricas.

  2. Use os menus suspensos para conferir as métricas de interesse, como tráfego por código de resposta, erros por método da API, latência geral e latência por método da API.