监控 AI 功能的费用、使用情况和其他指标是运行生产应用的重要组成部分。您需要了解应用的正常使用模式,并确保其未超出重要阈值。
本页介绍了一些建议的选项,用于在 Firebase 控制台和 Google Cloud 控制台中监控费用、使用情况 和其他指标。
监控费用
在 使用量和结算信息中心 内,您可以查看项目调用 Agent Platform Gemini API (formerly Vertex AI)和Gemini Developer API(如果您 使用的是 Blaze 定价方案)的费用。Firebase
信息中心内显示的费用 不一定 仅限于使用 Firebase AI Logic 客户端 SDK 的调用。显示的费用 与对这些“Gemini API”的 任何 调用相关联,无论这些调用是使用 Firebase AI Logic 客户端 SDK、 Google GenAI 服务器 SDK、Genkit、适用于 Gemini API 的 Firebase Extensions、REST 调用、AI Studio 之一还是其他 API 客户端。
详细了解与使用 Firebase AI Logic 相关的产品的 价格 。
设置预算提醒和支出上限
如果您使用的是 Blaze 定价方案,请设置 预算,然后专门设置 预算提醒 和 预算支出上限,以避免收到意外账单。
请注意,预算提醒不是预算上限。 当您接近或超出配置的阈值时,系统会向您发送提醒,以便您在应用或项目中采取行动。如果您希望在达到预算时暂停服务,则需要设置 预算支出上限 。
在 Firebase 控制台中查看 AI 功能的使用情况
您可以在 Firebase AI Logic 页面 的 Firebase 控制台中启用 AI 监控,以便观察各种应用级指标和使用情况 从而全面了解来自 Firebase AI Logic 客户端 SDK 的请求。这些信息中心比调用 Count Tokens API获取的基本令牌计数更深入。
Firebase Firebase控制台中 AI 监控的主要功能包括:
查看每个应用的请求量、延迟时间、错误和每种模态的令牌用量等定量指标。
检查跟踪记录,查看请求的属性、输入和输出,这有助于调试和提高质量。
按请求状态、最短延迟时间、模型名称等维度对数据进行切片。
所有这些功能都是使用 Google Cloud Observability Suite 构建的(请参阅 详细商品信息 下面)。
启用 AI 监控
您可以通过以下方式在 Firebase控制台中启用 AI 监控:
在您从 AI 服务 > Firebase AI Logic 页面完成初始引导式设置工作流时
在 AI 服务 > AI Logic > 设置 标签页中的任何时间
启用和使用 AI 监控的要求:
您必须是项目所有者、编辑者或 Firebase Vertex AI 管理员。
您的应用必须至少使用以下 Firebase 库版本:
iOS+:v11.13.0+ | Android:v16.0.0+ (BoM: v33.14.0+) | Web:v11.8.0+ | Flutter:v2.0.0+ (BoM: v3.11.0+) | Unity:v12.9.0+您的应用必须已 启用 选择性数据收集(默认情况下已启用)。
在您的应用满足这些要求并在控制台中启用 AI 监控后,您无需在应用或控制台中执行任何其他操作,即可开始在 AI 服务 > AI Logic >AI 监控 标签页中看到数据填充信息中心。来自 请求的遥测数据可能需要稍作延迟(有时最多 5 分钟)才会显示在 Firebase 控制台中。
高级用法
本部分介绍了采样率配置,以及用于查看和处理数据的不同选项。
采样率
如果您要发出大量请求,建议您利用采样率配置。采样率表示在所有请求中,系统实际收集了 跟踪记录详情 的请求所占的比例。
在 AI Services > AI Logic > Settings 标签页 的 Firebase 控制台中,您可以将项目的采样率配置为 1 到 100% 之间的值,其中 100% 表示 AI 监控将收集 所有流量的跟踪记录。默认值为 100%。收集的跟踪记录越少,费用就越低,但您可以监控的跟踪记录数量也会减少。请注意,无论采样率如何,监控信息中心内显示的图表始终会反映真实的流量。
Firebase 控制台之外的其他选项
除了 Firebase 控制台中提供的 AI 监控之外,您还可以考虑 以下选项:
探索 Vertex AI Model Garden。
这些信息中心可进一步深入了解受管理模型的延迟时间和吞吐量趋势, 从而补充您从 Firebase控制台中的 AI 监控获得的数据分析。使用 Google Cloud Observability Suite
探索和使用数据 由于 AI 监控的遥测数据存储在与您的项目关联的Google Cloud Observability Suite 中,因此您可以在其信息中心(包括Trace Explorer和Logs Explorer)中探索数据,这些信息中心在您检查Firebase控制台中的各个跟踪记录时会链接到。您还可以使用数据来构建自定义信息中心、设置提醒等。
有关用于 AI 监控的产品的详细信息
AI 监控将遥测数据存储在 Google Cloud Observability Suite中提供的各种产品中, 包括 Cloud Monitoring、Cloud Trace 和 Cloud Logging。
Cloud Monitoring:存储指标,包括请求数、 成功率和请求延迟时间。
Cloud Trace:存储每个请求的跟踪记录,以便您可以 单独查看详细信息,而不是汇总查看。跟踪记录通常与日志相关联,以便您可以检查每次互动的内容和时间。
Cloud Logging:捕获输入、输出和配置元数据,以 提供有关 AI 请求每个部分的丰富详细信息。
由于遥测数据存储在这些产品中,因此您可以直接在每个产品中指定 保留期和访问设置(如需了解详情,请参阅 Cloud Monitoring、 Cloud Trace 和 Cloud Logging的文档)。
请注意,AI 监控会将 实际 提示和生成的输出存储在 每个采样请求的 Cloud Logging 中,以便可以在 Firebase 控制台中访问这些数据。您可以选择 停用提示和响应的存储。
价格
采用免费 Spark 定价方案的项目 (仅在使用 Gemini Developer API时可用): AI 监控的基础服务的使用是免费的。
采用随用随付 Blaze 定价方案的项目: 您需要为 AI 监控使用的基础 Google Cloud Observability Suite 产品付费(无论您选择哪个 Gemini API 提供商)。不过,每个 Google Cloud Observability Suite 产品都有慷慨的 免费层级。如需了解详情,请参阅 Google Cloud Observability Suite价格文档。
(可选)停用提示和响应的存储
默认情况下,AI 监控会捕获发送给模型的 实际 提示以及模型生成的响应,包括这些提示和响应中的任何 敏感信息(例如个人身份信息 (PII)) 。所有 这些数据都存储在 Cloud Logging 中,以便可以在 Firebase 控制台中访问。
如需停用提示和响应的存储,请将以下
排除项过滤条件添加到您的
Cloud Logging接收器
(通常是 _Default 接收器):
resource.type="firebasevertexai.googleapis.com/Model"
在 Google Cloud 控制台中查看项目级 API 指标
对于每个 API,您都可以在 Google Cloud 控制台中查看项目级指标,例如使用情况。
请注意,本部分介绍的 Google Cloud 控制台页面 不 包含请求和响应内容以及 token 数量等信息。如需监控此类信息,请考虑 在 Firebase 控制台中使用 AI 监控 (请参阅上一部分)。
在 Google Cloud 控制台中,前往要查看的 API 的 指标 页面:
Agent Platform API: 查看与对 Agent Platform Gemini API (formerly Vertex AI)的任何请求相关联的使用情况。
- 包括使用 Firebase AI Logic客户端 SDK、 Google GenAI 服务器 SDK、Genkit、Firebase Extensions 的Gemini API、REST API、Agent Studio等请求。
Gemini Developer API: 查看与对 Gemini Developer API的 任何 请求相关联的使用情况。
- 包括使用 Firebase AI Logic客户端 SDK、 Google GenAI 服务器 SDK、Genkit适用于 Gemini API的 Firebase Extensions 、REST API、Google AI Studio等。
- 此 API 在 Google Cloud 控制台 中的显示名称为“Generative Language API”。
如果您发现自己位于 API 的“概览页面”,请点击 管理 ,然后点击指标 标签页。
使用下拉菜单查看您感兴趣的指标,例如按响应代码划分的流量、按 API 方法划分的错误、总体延迟时间和按 API 方法划分的延迟时间。