비용, 사용량, 기타 측정항목 모니터링

AI 기능의 비용, 사용량, 기타 측정항목을 모니터링하는 것은 프로덕션 앱을 실행하는 데 중요한 부분입니다. 앱의 일반적인 사용 패턴을 알아야 하며 중요한 기준 금액을 초과해서는 안 됩니다.

이 페이지에서는 Firebase 콘솔과 Google Cloud 콘솔 모두에서 비용, 사용량, 기타 측정항목을 모니터링하는 데 권장되는 몇 가지 옵션을 설명합니다.

비용 모니터링

Firebase Console의 사용량 및 결제 대시보드에서 Vertex AI Gemini API 및 Gemini Developer API 호출에 대한 프로젝트 비용을 확인할 수 있습니다 (Blaze 요금제를 사용하는 경우).

대시보드에 표시되는 비용은 Firebase AI Logic 클라이언트 SDK를 사용하는 호출에만 국한되지 않습니다. 표시된 비용은 Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API의 Firebase Extensions, REST 호출, AI 스튜디오 중 하나 또는 기타 API 클라이언트를 사용하는지와 관계없이 이러한 'Gemini API' 호출과 연결됩니다.

Firebase AI Logic 사용과 관련된 제품의 가격 책정에 대해 자세히 알아보세요.

알림 설정

예상치 못한 청구를 피하려면 Blaze 요금제를 사용 중일 때 예산 알림을 설정하세요.

예산 알림은 예산 한도가 아닙니다. 구성된 기준점에 도달하거나 이를 초과하면 알림이 전송되므로 앱 또는 프로젝트에서 조치를 취할 수 있습니다.

Firebase Console에서 AI 기능 사용량 관찰

Vertex AI Gemini API를 API 제공업체로 사용하는 경우에만 사용할 수 있습니다.

Firebase Console의 Firebase AI Logic 페이지에서 AI 모니터링을 사용 설정하면 다양한 앱 수준 측정항목과 사용량을 관찰하여 Firebase AI Logic 클라이언트 SDK의 요청을 포괄적으로 파악할 수 있습니다. 이러한 대시보드는 Count Tokens API 호출에서 가져오는 기본 토큰 수보다 더 자세합니다.

Firebase 콘솔의 AI 모니터링 주요 기능은 다음과 같습니다.

  • 각 앱의 요청 수, 지연 시간, 오류, 모달별 토큰 사용량과 같은 정량적 측정항목을 확인합니다.

  • 디버깅 및 품질 개선에 도움이 되는 요청의 속성, 입력, 출력을 확인하기 위해 트레이스를 검사합니다.

  • 요청 상태, 최소 지연 시간, 모델 이름 등의 측정기준을 기준으로 데이터를 슬라이스합니다.

이러한 모든 기능은 Google Cloud Observability Suite를 사용하여 빌드됩니다 (아래 자세한 제품 정보 참고).

AI monitoring 사용 설정

다음은 Firebase 콘솔에서 AI 모니터링을 사용 설정하는 방법입니다.

AI 모니터링을 사용 설정하고 사용하는 데 필요한 요구사항:

  • 프로젝트 소유자, 편집자 또는 Firebase Vertex AI 관리자여야 합니다.

  • Firebase 프로젝트가 사용한 만큼만 지불하는 Blaze 요금제를 사용하고 있어야 합니다(아래 제품 세부정보 참고).

  • Vertex AI Gemini API를 API 제공업체로 사용해야 합니다(Gemini Developer API 지원은 곧 제공될 예정).

  • 앱은 최소한 다음 Firebase 라이브러리 버전을 사용해야 합니다.
    iOS+: v11.13.0 이상 | Android: v16.0.0 이상 (BoM: v33.14.0 이상) | 웹: v11.8.0 이상 | Flutter: v2.0.0 이상 (BoM: v3.11.0 이상) | Unity: v12.9.0 이상

  • 앱에 데이터 수집 선택이 사용 설정되어 있어야 합니다 (기본적으로 사용 설정됨).

앱이 이러한 요구사항을 충족하고 콘솔에서 AI 모니터링을 사용 설정한 후에는 앱이나 콘솔에서 다른 작업을 하지 않아도 Firebase AI Logic AI 모니터링 탭의 대시보드에 데이터가 채워지는 것을 볼 수 있습니다. 요청의 원격 분석을 Firebase 콘솔에서 사용할 수 있게 되기까지 약간의 지연 (최대 5분)이 발생할 수 있습니다.

고급 사용

이 섹션에서는 샘플링 레이트 구성과 데이터를 보고 작업하는 다양한 옵션을 설명합니다.

샘플링 레이트

요청 수가 많은 경우 샘플링 레이트 구성을 활용하는 것이 좋습니다. 샘플링 레이트는 데이터가 실제로 수집된 요청의 비율을 나타냅니다.

Firebase Console의 Firebase AI Logic 설정 탭에서 프로젝트의 샘플링 레이트를 1~100%로 구성할 수 있습니다. 여기서 100% 는 모든 트래픽을 AI 모니터링으로 전송합니다. 기본값은 100% 입니다. 트래픽을 더 많이 전송하면 측정항목의 정확성이 높아지지만 모니터링 비용도 증가합니다. 모니터링 대시보드에 표시되는 그래프는 샘플링 레이트를 기반으로 하므로 샘플링 레이트가 50% 인 경우 요청 수, 토큰 사용량 등을 두 배로 늘려 실제 양을 추정해야 합니다.

Firebase 콘솔 외부의 추가 옵션

Firebase 콘솔에서 제공되는 AI 모니터링 외에도 다음 옵션을 고려해 보세요.

  • Vertex AI Model Garden 살펴보기
    이 대시보드는 관리형 모델의 지연 시간 및 처리량에 관한 추가 동향 통계를 제공하여 Firebase 콘솔의 AI 모니터링에서 얻은 통계를 보완합니다.

  • Google Cloud Observability Suite로 데이터 탐색 및 사용
    AI 모니터링을 위한 원격 분석 데이터는 프로젝트와 연결된 Google Cloud Observability Suite에 저장되므로 Firebase 콘솔에서 개별 트레이스를 검사할 때 연결되는 Trace Explorer 및 Logs Explorer를 비롯한 대시보드에서 데이터를 탐색할 수 있습니다. 데이터를 사용하여 커스텀 대시보드를 빌드하고, 알림을 설정하는 등의 작업도 할 수 있습니다.

AI 모니터링에 사용되는 제품에 관한 자세한 정보

AI 모니터링은 Cloud Monitoring, Cloud Trace, Cloud Logging를 비롯하여 Google Cloud Observability Suite에서 제공되는 다양한 제품에 원격 분석 데이터를 저장합니다.

  • Cloud Monitoring: 요청 수, 성공률, 요청 지연 시간 등의 측정항목을 저장합니다.

  • Cloud Trace: 요청별로 트레이스를 저장하므로 집계된 세부정보 대신 개별적으로 세부정보를 볼 수 있습니다. 트레이스는 일반적으로 각 상호작용의 콘텐츠와 시점을 검사할 수 있도록 로그와 연결됩니다.

  • Cloud Logging: 입력, 출력, 구성 메타데이터를 캡처하여 AI 요청의 각 부분에 관한 풍부한 세부정보를 제공합니다.

원격 분석 데이터는 이러한 제품에 저장되므로 각 제품 내에서 직접 보관 및 액세스 설정을 지정할 수 있습니다 (Cloud Monitoring, Cloud Trace, Cloud Logging 문서에서 자세히 알아보기). 각 샘플링된 요청의 실제 프롬프트와 생성된 출력은 측정항목과 함께 저장됩니다.

가격 책정

Google Cloud Observability Suite는 유료 서비스이므로 Firebase 프로젝트에서 사용한 만큼만 지불하는 Blaze 요금제를 사용해야 합니다. 하지만 각 제품에는 무료 등급이 있습니다. Google Cloud Observability Suite 가격 책정 문서에서 자세히 알아보세요.

Google Cloud 콘솔에서 프로젝트 수준 API 측정항목 보기

각 API의 경우 Google Cloud 콘솔에서 사용량과 같은 프로젝트 수준 측정항목을 확인할 수 있습니다.

이 섹션에 설명된 Google Cloud 콘솔 페이지에는 요청 및 응답 콘텐츠, 토큰 수와 같은 정보가 포함되지 않습니다. 이러한 유형의 정보를 모니터링하려면 Firebase 콘솔에서 AI 모니터링을 사용하는 것이 좋습니다(이전 섹션 참고).

  1. Google Cloud 콘솔에서 확인하려는 API의 측정항목 페이지로 이동합니다.

    • Vertex AI API: Vertex AI Gemini API에 대한 모든 요청과 연결된 사용량을 확인합니다.

      • Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API의 Firebase Extensions, REST API, Vertex AI Studio 등의 요청을 포함합니다.

    • Gemini Developer API: Gemini Developer API에 대한 모든 요청과 연결된 사용량을 확인합니다.

      • Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API의 Firebase Extensions, REST API, Google AI Studio 등의 요청을 포함합니다.
      • Google Cloud 콘솔에서 이 API의 표시 이름은 'Generative Language API'입니다.

    API의 '개요 페이지'에 있는 경우 관리를 클릭한 다음 측정항목 탭을 클릭합니다.

  2. 드롭다운 메뉴를 사용하여 응답 코드별 트래픽, API 메서드별 오류, 전반적인 지연 시간, API 메서드별 지연 시간과 같은 관심 있는 측정항목을 확인합니다.