費用、使用状況、その他の指標をモニタリングする

AI 機能の費用、使用量、その他の指標をモニタリングすることは、本番環境のアプリを実行するうえで重要な部分です。アプリの通常の使用パターンがどのようになっているかを把握して、重要なしきい値を超えないようにする必要があります。

このページでは、Firebase コンソールと Google Cloud コンソールの両方で費用、使用量、その他の指標をモニタリングするための推奨オプションについて説明します。

費用をモニタリングする

Firebase コンソールの [使用量と請求額] ダッシュボードで、Vertex AI Gemini API と Gemini Developer API の呼び出しにかかるプロジェクトの費用を確認できます（Blaze 料金プランをご利用の場合）。

ダッシュボードに表示される費用は、Firebase AI Logic クライアント SDK を使用した呼び出しに固有のものとは限りません。表示される費用は、Firebase AI Logic クライアント SDK、Google GenAI サーバー SDK、Genkit、Gemini API の Firebase Extensions、REST 呼び出し、AI Studio のいずれか、または他の API クライアントを使用して、これらの「Gemini API」を呼び出したすべての呼び出しに関連付けられます。

詳しくは、Firebase AI Logic の使用に関連するプロダクトの料金をご覧ください。

アラートの設定

想定外の請求が発生しないように、Blaze お支払いプランをご利用の場合は、予算アラートを設定してください。

予算アラートは予算の上限ではありません。構成したしきい値に近づいたときやしきい値を超えたときにアラートが送信されるため、アプリやプロジェクトで適切な対応を取ることができます。

Firebase コンソールで AI 機能の使用状況をモニタリングする

API プロバイダとして Vertex AI Gemini API を使用している場合にのみ使用できます。

Firebase コンソールの Firebase AI Logic ページで AI モニタリングを有効にすると、さまざまなアプリレベルの指標と使用状況をモニタリングし、Firebase AI Logic クライアント SDK からのリクエストを包括的に把握できます。これらのダッシュボードは、Count Tokens API の呼び出しから得られる基本的なトークン数よりも詳細です。

Firebase コンソールの AI モニタリングの主な機能は次のとおりです。

  • 各アプリのリクエスト数、レイテンシ、エラー、モダリティごとのトークン使用量などの定量指標を表示します。

  • トレースを調べてリクエストの属性、入力、出力を確認します。これは、デバッグと品質改善に役立ちます。

  • リクエストのステータス、最小レイテンシ、モデル名などのディメンションでデータをスライスする。

これらの機能はすべて Google Cloud Observability Suite を使用して構築されています（下記のプロダクトの詳細情報をご覧ください）。

AI モニタリングを有効にする

Firebase コンソールで AI モニタリングを有効にする方法は次のとおりです。

AI モニタリングの有効化と使用の要件:

  • プロジェクトのオーナー、編集者、または Firebase Vertex AI 管理者である必要があります。

  • Firebase プロジェクトが従量課金制の Blaze 料金プランに登録されている必要があります（下記のプロダクトの詳細情報をご覧ください）。

  • API プロバイダとして Vertex AI Gemini API を使用する必要があります（Gemini Developer API のサポートは近日提供予定です）。

  • アプリで、次の Firebase ライブラリのバージョンを少なくとも使用する必要があります。
    iOS+: v11.13.0 以降 | Android: v16.0.0 以降（BoM: v33.14.0 以降）| ウェブ: v11.8.0 以降 | Flutter: v2.0.0 以降（BoM: v3.11.0 以降）| Unity: v12.9.0 以降

  • アプリでオプトイン データ収集が有効になっている必要があります（これはデフォルトで有効になっています）。

アプリがこれらの要件を満たし、コンソールで AI モニタリングを有効にすると、アプリまたはコンソールで他に何もする必要なく、Firebase AI Logic [AI モニタリング] タブのダッシュボードにデータが表示されます。リクエストのテレメトリーが Firebase コンソールで使用可能になるまでに、わずかな遅延（最大 5 分）が発生することがあります。

高度な使い方

このセクションでは、サンプリング レートの構成と、データの表示と操作に関するさまざまなオプションについて説明します。

サンプリング レート

大量のリクエストを実行する場合は、サンプリング レートの構成を活用することをおすすめします。サンプリング レートは、データが実際に収集されるリクエストの割合を示します。

Firebase コンソールの [Firebase AI Logic 設定] タブで、プロジェクトのサンプルレートを 1 ～ 100% の値に設定できます。100% に設定すると、すべてのトラフィックが AI モニタリングに送信されます。デフォルトは 100% です。送信するトラフィックを増やすと指標の精度が向上しますが、モニタリング費用も増加します。モニタリング ダッシュボードに表示されるグラフはサンプリング レートに基づいているため、サンプリング レートが 50% の場合は、リクエスト数やトークン使用量などを 2 倍にして実際の量を推定する必要があります。

Firebase コンソール以外の追加オプション

Firebase コンソールで利用可能な AI モニタリングに加えて、次のオプションも検討してください。

  • Vertex AI Model Garden を確認する。
    これらのダッシュボードでは、マネージド モデルのレイテンシとスループットの傾向に関する詳細な分析情報を確認できます。これは、Firebase コンソールの AI モニタリングからの分析情報を補完するものです。

  • Google Cloud Observability Suite でデータを探索、使用する
    AI モニタリングのテレメトリー データは、プロジェクトに関連付けられた Google Cloud Observability Suite に保存されるため、Trace Explorer や Logs Explorer などのダッシュボードでデータを探索できます。これらのダッシュボードは、Firebase コンソールで個々のトレースを検査するときにリンクされます。データを使用して、カスタム ダッシュボードを作成したり、アラートを設定したりすることもできます。

AI モニタリングに使用されるプロダクトの詳細

AI モニタリングは、Cloud Monitoring、Cloud Trace、Cloud Logging など、Google Cloud Observability Suite で利用可能なさまざまなプロダクトにテレメトリー データを保存します。

  • Cloud Monitoring: リクエスト数、成功率、リクエスト レイテンシなどの指標を保存します。

  • Cloud Trace: 各リクエストのトレースを保存するため、詳細を集計ではなく個別に表示できます。通常、トレースにはログが関連付けられているため、各インタラクションの内容とタイミングを調べることができます。

  • Cloud Logging: 入力、出力、構成のメタデータをキャプチャし、AI リクエストの各部分に関する詳細情報を提供します。

テレメトリー データはこれらのプロダクトに保存されるため、各プロダクト内で保持とアクセスの設定を直接指定できます（詳細については、Cloud Monitoring、Cloud Trace、Cloud Logging のドキュメントをご覧ください）。各サンプリング リクエストからの実際のプロンプトと生成された出力は、指標とともに保存されます。

料金

Google Cloud Observability Suite は有料サービスであるため、Firebase プロジェクトが従量課金制の Blaze 料金プランに登録されている必要があります。ただし、各プロダクトには無料の使用枠が用意されています。詳しくは、Google Cloud Observability Suite の料金に関するドキュメントをご覧ください。

Google Cloud コンソールでプロジェクト レベルの API 指標を表示する

API ごとに、Google Cloud コンソールで使用状況などのプロジェクト レベルの指標を確認できます。

このセクションで説明する Google Cloud コンソール ページには、リクエストとレスポンスのコンテンツやトークン数などの情報は含まれません。このような情報をモニタリングするには、Firebase コンソールの AI モニタリングの使用を検討してください（前のセクションを参照）。

  1. Google Cloud コンソールで、表示する API の [指標] ページに移動します。

    • Vertex AI API: Vertex AI Gemini API に対するすべてのリクエストに関連付けられた使用状況を表示します。

      • Firebase AI Logic クライアント SDK、Google GenAI サーバー SDK、Genkit、Gemini API の Firebase Extensions、REST API、Vertex AI Studio などを使用するリクエストが含まれます。

    • Gemini Developer API: Gemini Developer API に対するすべてのリクエストに関連付けられた使用状況を表示します。

      • Firebase AI Logic クライアント SDK、Google GenAI サーバー SDK、Genkit、Gemini API の Firebase Extensions、REST API、Google AI Studio などを使用するリクエストが含まれます。
      • Google Cloud コンソールでのこの API の表示名は「Generative Language API」です。

    API の [概要ページ] が表示されている場合は、[管理]、[指標] タブの順にクリックします。

  2. プルダウン メニューを使用して、レスポンス コード別のトラフィック、API メソッド別のエラー、全体的なレイテンシ、API メソッド別のレイテンシなど、目的の指標を表示します。