监控费用、使用情况和其他指标

监控 AI 功能的费用、使用情况和其他指标是运行正式版应用的重要环节。您需要了解应用的正常使用模式,并确保其未超出重要阈值。

本页介绍了在 Firebase 控制台和 Google Cloud 控制台中监控费用、用量和其他指标的一些推荐选项。

监控费用

Firebase 控制台的使用量和结算信息中心中,您可以查看项目调用 Vertex AI Gemini APIGemini Developer API 的费用(如果您采用的是 Blaze 定价方案)。

信息中心中显示的费用不一定仅限于使用 Firebase AI Logic 客户端 SDK 进行的调用。显示的费用与对这些“Gemini API”的任何调用相关联,无论是使用 Firebase AI Logic 客户端 SDK、Google GenAI 服务器 SDK、GenkitGemini APIFirebase Extensions、REST 调用、某个 AI 工作室或其他 API 客户端。

详细了解与您使用 Firebase AI Logic 相关的商品的价格

设置提醒

为避免产生意外账单费用,请务必在使用 Blaze 定价方案时设置预算提醒

请注意,预算提醒不是预算上限。当您接近或超过配置的阈值时,系统会向您发送提醒信息,以便您在应用或项目中采取行动。

Firebase 控制台中观察 AI 功能的使用情况

仅在将 Vertex AI Gemini API 用作 API 提供程序时可用。

您可以在 Firebase 控制台的 Firebase AI Logic 页面中启用 AI 监控,以便监控各种应用级指标和使用情况,从而全面了解来自 Firebase AI Logic 客户端 SDK 的请求。这些信息中心比通过调用 Count Tokens API 获得的基本令牌数更深入。

Firebase 控制台中 AI 监控的关键功能包括

  • 查看每个应用的请求量、延迟时间、错误数和每种模态令牌用量等定量指标。

  • 检查轨迹以查看请求的属性、输入和输出,这有助于调试和改进质量。

  • 按请求状态、最短延迟时间、模型名称等维度切片数据。

所有这些功能均使用 Google Cloud Observability Suite 构建而成(请参阅下文中的详细产品信息)。

启用 AI 监控

您可以在 Firebase 控制台中通过以下方式启用 AI 监控功能

启用和使用 AI 监控功能的要求

  • 您必须是项目的 Owner、Editor 或 Firebase Vertex AI 管理员。

  • 您的 Firebase 项目必须采用随用随付 Blaze 定价方案(请参阅下文中的详细产品信息)。

  • 您必须使用 Vertex AI Gemini API 作为 API 提供程序(我们即将支持 Gemini Developer API!)。

  • 您的应用必须至少使用以下 Firebase 库版本:
    iOS+:v11.13.0+ | Android:v16.0.0+(BoM:v33.14.0+)| Web:v11.8.0+ | Flutter:v2.0.0+(BoM:v3.11.0+)| Unity:v12.9.0+

  • 您的应用必须启用“用户选择才会收集”数据收集功能(此功能默认处于启用状态)。

您的应用满足这些要求并在控制台中启用 AI 监控后,您无需在应用或控制台中执行任何其他操作,即可开始在 Firebase AI Logic AI 监控标签页中看到数据填充到信息中心。请求的遥测数据可能需要稍等片刻(有时最长可能需要 5 分钟)才能显示在 Firebase 控制台中。

高级用法

本部分介绍了采样率配置,以及用于查看和处理数据的不同选项。

采样率

如果您要发出大量请求,我们建议您利用采样率配置。采样率表示实际收集了数据的请求所占的比例。

Firebase 控制台的 Firebase AI Logic 设置标签页中,您可以将项目的采样率配置为介于 1 到 100% 之间的值,其中 100% 表示将所有流量发送到 AI 监控。默认值为 100%。发送更多流量会提高指标的准确性;不过,这也会增加监控费用。请注意,监控信息中心中显示的图表基于您的抽样率,因此,如果您的抽样率为 50%,您应将请求数、令牌用量等数据乘二,以估算实际量。

Firebase 控制台之外的其他选项

除了 Firebase 控制台中提供的 AI 监控功能之外,您还可以考虑以下选项:

  • 探索 Vertex AI Model Garden
    这些信息中心可进一步分析托管模型的延迟时间和吞吐量趋势,为您在 Firebase 控制台中通过 AI 监控获得的数据分析提供补充。

  • 使用 Google Cloud Observability Suite
    探索和使用数据 由于 AI 监控的遥测数据存储在与您的项目关联的 Google Cloud Observability Suite 中,因此您可以在其信息中心(包括 Trace ExplorerLogs Explorer)中探索数据。当您在 Firebase 控制台中检查各个轨迹时,这些信息中心会显示相关链接。您还可以使用数据构建自定义信息中心、设置提醒等。

有关用于 AI 监控的产品的详细信息

AI 监控会将您的遥测数据存储在 Google Cloud Observability Suite 中提供的各种产品中,包括 Cloud MonitoringCloud TraceCloud Logging

  • Cloud Monitoring:存储指标,包括请求数、成功率和请求延迟时间。

  • Cloud Trace:存储每个请求的轨迹,以便您单独查看详细信息,而不是汇总信息。轨迹通常与日志相关联,以便您检查每次互动的内容和时间。

  • Cloud Logging:捕获输入、输出和配置元数据,以提供有关 AI 请求各个部分的丰富详细信息。

由于您的遥测数据存储在这些产品中,因此您可以直接在每款产品中指定保留和访问权限设置(如需了解详情,请参阅 Cloud MonitoringCloud TraceCloud Logging 的文档)。请注意,每个抽样请求的实际提示和生成的输出会与指标一起存储。

价格

Google Cloud Observability Suite 是一项付费服务,因此您的 Firebase 项目必须采用随用随付 Blaze 定价方案。不过,每款产品都有充足的免费层级。如需了解详情,请参阅 Google Cloud Observability Suite 价格文档

Google Cloud 控制台中查看项目级 API 指标

对于每个 API,您都可以在 Google Cloud 控制台中查看项目级指标(例如用量)。

请注意,本部分介绍的 Google Cloud 控制台页面包含请求和响应内容、令牌数等信息。如需监控此类信息,不妨考虑使用 Firebase 控制台中的 AI 监控(请参阅上一部分)。

  1. Google Cloud 控制台中,前往要查看的 API 的指标页面:

    • Vertex AI API:查看与对 Vertex AI Gemini API任何请求关联的使用情况。

      • 包括使用 Firebase AI Logic 客户端 SDK、Google GenAI 服务器 SDK、GenkitGemini APIFirebase Extensions、REST API、Vertex AI Studio 等的请求。
    • Gemini Developer API:查看与对 Gemini Developer API任何请求相关的使用情况。

      • 包括使用 Firebase AI Logic 客户端 SDK、Google GenAI 服务器 SDK、GenkitGemini APIFirebase Extensions、REST API、Google AI Studio 等的请求。
      • Google Cloud 控制台中此 API 的显示名称为“Generative Language API”。

    如果您当前位于该 API 的“概览页面”,请点击管理,然后点击指标标签页。

  2. 使用下拉菜单查看感兴趣的指标,例如按响应代码划分的流量、按 API 方法划分的错误、总体延迟时间以及按 API 方法划分的延迟时间。