Мониторинг затрат, использования и других показателей

Мониторинг расходов, использования и других показателей ваших функций ИИ является важной частью работы производственного приложения. Вам нужно знать, как выглядят обычные шаблоны использования для вашего приложения, и убедиться, что вы остаетесь в пределах пороговых значений, которые важны для вас.

На этой странице описаны некоторые рекомендуемые параметры для мониторинга расходов, использования и других показателей как в консоли Firebase , так и в консоли Google Cloud .

Мониторинг расходов

На панели «Использование и выставление счетов» консоли Firebase вы можете просмотреть расходы вашего проекта на вызовы API Vertex AI Gemini и API разработчика Gemini (при использовании тарифного плана Blaze).

Расходы, отображаемые на панели управления, не обязательно относятся к вызовам с использованием клиентских SDK Firebase AI Logic . Отображаемые расходы связаны с любыми вызовами этих "Gemini API", независимо от того, используют ли они клиентские SDK Firebase AI Logic , серверные SDK Google GenAI, Genkit , Firebase Extensions для Gemini API , вызовы REST, одну из AI Studios или другие клиенты API.

Узнайте больше о ценах на продукты, связанные с использованием Firebase AI Logic .

Настроить оповещения

Чтобы избежать неожиданных счетов, обязательно настройте оповещения о бюджете при использовании тарифного плана Blaze.

Обратите внимание, что оповещения о бюджете не являются ограничениями бюджета . Оповещение будет отправлять вам сообщения, когда вы приближаетесь к установленному пороговому значению или превышаете его, чтобы вы могли предпринять действия в своем приложении или проекте.

Наблюдайте за использованием функций ИИ в консоли Firebase

Доступно только при использовании API Vertex AI Gemini в качестве поставщика API.

Вы можете включить мониторинг AI на странице Firebase AI Logic консоли Firebase чтобы вы могли наблюдать различные метрики и использование на уровне приложения, чтобы получить полную видимость ваших запросов из клиентских SDK Firebase AI Logic . Эти панели мониторинга более подробны, чем базовые счетчики токенов, которые вы получаете из вызова API Count Tokens .

Ключевые возможности мониторинга ИИ в консоли Firebase включают в себя:

  • Просмотр количественных показателей, таких как объем запросов, задержка, ошибки и использование токенов по модальности для каждого из ваших приложений.

  • Проверка трассировок для просмотра атрибутов, входных и выходных данных ваших запросов, что может помочь в отладке и повышении качества.

  • Разделение данных по таким параметрам, как статус запроса, минимальная задержка, название модели и т. д.

Все эти функции созданы с использованием Google Cloud Observability Suite ( подробную информацию о продукте см. ниже).

Включить мониторинг ИИ

Вот способы включения мониторинга ИИ в консоли Firebase :

Требования для включения и использования мониторинга ИИ:

  • Вы должны быть владельцем проекта, редактором или администратором Firebase Vertex AI.

  • Ваш проект Firebase должен быть включен в тарифный план Blaze с оплатой по факту использования ( подробную информацию о продукте см. ниже).

  • В качестве поставщика API вы должны использовать API Vertex AI Gemini (поддержка API разработчика Gemini появится скоро!).

  • Ваше приложение должно использовать как минимум следующие версии библиотеки Firebase:
    iOS+ : v11.13.0+ | Android : v16.0.0+ (BoM: v33.14.0+) | Веб : v11.8.0+ | Flutter : v2.0.0+ (BoM: v3.11.0+) | Unity : v12.9.0+

  • В вашем приложении должен быть включен сбор данных по желанию (он включен по умолчанию).

После того, как ваше приложение будет соответствовать этим требованиям и вы включите мониторинг ИИ в консоли, вам не нужно будет делать ничего другого в вашем приложении или консоли, чтобы начать видеть данные, заполняющие панели мониторинга на вкладке Firebase AI Logic AI monitoring . Может возникнуть небольшая задержка (иногда до 5 минут), прежде чем телеметрия из запроса станет доступна в консоли Firebase .

Расширенное использование

В этом разделе описывается настройка частоты дискретизации, а также различные варианты просмотра и работы с данными.

Частота дискретизации

Если вы делаете большое количество запросов, мы рекомендуем воспользоваться конфигурацией частоты выборки. Частота выборки указывает долю запросов, для которых данные фактически собираются.

На вкладке Firebase AI Logic Settings консоли Firebase вы можете настроить частоту выборки для своего проекта на значение от 1 до 100%, где 100% отправит весь ваш трафик через мониторинг AI. По умолчанию это 100%. Отправка большего количества трафика повысит точность ваших метрик; однако это также увеличит стоимость мониторинга. Имейте в виду, что графики, отображаемые на панели мониторинга, основаны на вашей частоте выборки, поэтому, если ваша частота выборки составляет 50%, вам следует удвоить количество запросов, использование токенов и т. д., чтобы оценить фактический объем.

Дополнительные возможности за пределами консоли Firebase

В дополнение к мониторингу ИИ, доступному в консоли Firebase , рассмотрите следующие варианты:

  • Исследуйте Vertex AI Model Garden .
    Эти панели мониторинга предоставляют дополнительную информацию о тенденциях задержки и пропускной способности для управляемых моделей, дополняя ваши знания, полученные с помощью мониторинга ИИ в консоли Firebase .

  • Исследуйте и используйте свои данные с помощью Google Cloud Observability Suite
    Поскольку данные телеметрии для мониторинга ИИ хранятся в Google Cloud Observability Suite связанном с вашим проектом, вы можете исследовать свои данные на его панелях мониторинга, включая Trace Explorer и Logs Explorer , которые связаны с проверкой ваших индивидуальных трассировок в консоли Firebase . Вы также можете использовать свои данные для создания пользовательских панелей мониторинга, настройки оповещений и многого другого.

Подробная информация о продуктах, используемых для мониторинга ИИ

Мониторинг на основе ИИ сохраняет ваши телеметрические данные в различных продуктах, доступных в Google Cloud Observability Suite , включая Cloud Monitoring , Cloud Trace и Cloud Logging .

  • Cloud Monitoring : сохраняет метрики, включая количество запросов, показатель успешности и задержку запроса.

  • Cloud Trace : сохраняет трассировки для каждого из ваших запросов, чтобы вы могли просматривать детали по отдельности, а не в совокупности. Трассировка обычно связана с журналами, чтобы вы могли изучить содержимое и время каждого взаимодействия.

  • Cloud Logging : фиксирует входные, выходные и конфигурационные метаданные для предоставления подробных сведений о каждой части вашего запроса ИИ.

Поскольку ваши данные телеметрии хранятся в этих продуктах, вы можете указать настройки хранения и доступа непосредственно в каждом продукте (подробнее см. в документации по Cloud Monitoring , Cloud Trace и Cloud Logging ). Обратите внимание, что фактические запросы и сгенерированные выходные данные из каждого выборочного запроса сохраняются вместе с метриками.

Ценообразование

Google Cloud Observability Suite — платная услуга, поэтому ваш проект Firebase должен быть на тарифном плане Blaze с оплатой по мере использования. Однако каждый продукт имеет щедрые бесплатные уровни. Узнайте больше в документации по ценам Google Cloud Observability Suite .

Просмотр показателей API на уровне проекта в консоли Google Cloud

Для каждого API вы можете просматривать метрики на уровне проекта, такие как использование, в консоли Google Cloud .

Обратите внимание, что страницы консоли Google Cloud , описанные в этом разделе, не включают информацию, такую ​​как содержимое запроса и ответа, а также количество токенов. Для мониторинга этого типа информации рассмотрите возможность использования мониторинга AI в консоли Firebase (см. предыдущий раздел).

  1. В консоли Google Cloud перейдите на страницу показателей API, который вы хотите просмотреть:

    • Vertex AI API : просмотр использования, связанного с любым запросом к Vertex AI Gemini API .

      • Включает запросы с использованием клиентских SDK Firebase AI Logic , серверных SDK Google GenAI, Genkit , Firebase Extensions для API Gemini , REST API, Vertex AI Studio и т. д.

    • Gemini Developer API : просмотр использования, связанного с любым запросом к Gemini Developer API .

      • Включает запросы с использованием клиентских SDK Firebase AI Logic , серверных SDK Google GenAI, Genkit , Firebase Extensions для API Gemini , REST API, Google AI Studio и т. д.
      • Отображаемое имя этого API в консоли Google Cloud — «Generative Language API».

    Если вы находитесь на «странице обзора» API, нажмите «Управление» , а затем перейдите на вкладку «Метрики» .

  2. Используйте раскрывающиеся меню для просмотра интересующих вас показателей, таких как трафик по коду ответа, ошибки по методу API, общая задержка и задержка по методу API.