了解和管理配额

Vertex AI in Firebase 需要两个不同的 API(每个 API 都有自己的配额):Vertex AI API 和 Vertex AI in Firebase API。

这些 API 中的每个 API 都有配额,以每分钟请求数 (RPM) 衡量,具体而言是“生成内容”请求(包括流式传输和非流式传输)。Vertex AI API 还具有每分钟输入令牌的配额。

本页面介绍以下内容:

您可以在 Google Cloud 文档中了解有关配额的一般信息

了解每个 API 的配额

每个 API 的配额衡量方式略有不同,这意味着它们可用于不同的用途。

了解 Vertex AI API 配额

Vertex AI API 配额基于每个模型、每个区域每分钟的“生成内容请求”配额。

以下是有关这些配额(具体而言,每分钟请求数和每分钟输入令牌数)的一些重要详细信息:

  • 这些配额在项目一级应用,并由使用该 Firebase 项目的所有应用和 IP 地址共享。

  • 这些限制适用于对 Vertex AI Gemini API任何调用,无论是使用 Vertex AI in Firebase 客户端 SDK、Vertex AI 服务器 SDK、Firebase Genkit、Gemini Firebase Extensions、REST 调用、Vertex AI Studio 还是其他 API 客户端。

  • 它们适用于基本模型以及该模型的所有版本、标识符和调整后的版本。下面是一些示例:

    • gemini-1.0-pro 的请求和对 gemini-1.0-pro-001 的请求会计为两个请求,计入基本模型 gemini-1.0 pro 的 RPM 配额。

    • gemini-1.0-pro-001 的请求和对基于 gemini-1.0-pro-001调优后模型的请求会计为两个请求,计入基本模型 gemini-1.0-pro 的 RPM 配额。

  • 如需查看每个模型和每个区域的默认配额,请参阅 Google Cloud 文档。

您基本上可以将此 API 的配额视为所有用户(在特定区域使用依赖于特定模型的应用 AI 功能的用户)的“总”配额。

这些配额需要足够高,才能合理容纳特定区域中可能会访问依赖特定模型的 AI 功能的最终用户总数。由于这些是按分钟计算的配额,因此您所在区域的所有用户都同时使用同一组功能并耗尽这些配额的可能性相对较小。但每个应用都不尽相同,因此请相应地调整这些配额。

了解 Vertex AI in Firebase API 配额

Vertex AI in Firebase API 配额基于“生成内容请求”而定,具体计算方式为:每位用户每分钟在每个区域的请求数。

以下是有关此配额(具体来说就是每分钟请求数)的一些重要详细信息:

  • 它适用于项目级,适用于使用该 Firebase 项目的所有应用和 IP 地址。

  • 它适用于通过任何 Vertex AI in Firebase SDK 进行的任何特定调用。

  • 默认配额为每位用户 100 RPM。
    请注意,您仍然需要考虑 Vertex AI API 的配额限制,尤其是在它们低于 100 RPM 时。

您基本上可以将此 API 的配额视为依赖于 Vertex AI in Firebase 的 AI 功能的“每位用户”配额。

此配额需要足够高,才能合理地容纳单个用户访问依赖于 Vertex AI in Firebase 的 AI 功能。由于此 API 充当 Vertex AI API 的网关,因此您可以使用 Vertex AI in Firebase API 配额,以确保没有任何用户耗尽您的 Vertex AI API 配额(所有用户均可共享)。

查看每个 API 的配额

您可以在 Google Cloud 控制台中查看每个 API 的配额。

  1. Google Cloud 控制台中,前往所需 API 的页面:Vertex AI APIVertex AI in Firebase API

  2. 点击管理

  3. 在页面下方,点击配额和系统限制标签页。

  4. 过滤表格以显示您感兴趣的配额。

    请注意,若要创建 Dimension 过滤条件,您需要使用过滤条件工具,而不仅仅是复制并粘贴以下示例中的值。

    • 对于 Vertex AI API:指定 capability(生成内容的请求)、模型名称和区域。

      例如,若要查看在任何受支持的欧盟地区使用 Gemini 1.5 Flash 生成内容请求的配额,您的过滤条件将如下所示:
      Generate content requests + Dimension:base_model:gemini-1.5-flash + Dimension:region:eu

    • 对于 Vertex AI in Firebase API:指定 capability(用于生成内容的请求)和区域。

      例如,如需查看在任何受支持的亚洲地区生成内容请求的每位用户配额,您的过滤条件将如下所示:
      Generate content requests + Dimension:region:asia

      请注意,Vertex AI in Firebase API 配额并非基于特定模型。此外,(default) 配额行不适用于 Vertex AI in Firebase

修改配额或申请增加配额

在正式发布之前,或者如果您收到 429 超出配额错误,则可能需要修改配额或申请增加配额。请务必相应地调整每个 API 的配额(如需了解注意事项,请参阅本页前面的了解每个 API 的配额)。

如需修改配额,您必须拥有 serviceusage.quotas.update 权限,该权限默认包含在 Owner 和 Editor 角色中。

如需修改配额或申请增加配额,请按以下步骤操作:

  1. 按照上一部分中的说明查看每个 API 的配额

  2. 选中您要查看的每个配额左侧的复选框。

  3. 在该配额所在行的末尾,点击三点状菜单,然后选择修改配额

  4. 配额更改表单中,执行以下操作:

    1. 新值字段中输入增加的配额。

      此配额在项目一级应用,并由使用该 Firebase 项目的所有应用和 IP 地址共享。

    2. 填写表单中的任何其他字段,然后点击完成

    3. 点击提交请求