|
点击您的 Gemini API 提供商,以查看此页面上特定于提供商的内容和代码。 |
速率限制(通常称为配额)用于控制您在给定时间范围内可以向 Gemini API 发出的请求数量。这些限制有助于确保公平使用、防范滥用行为,并帮助所有用户维持系统性能。
使用 Firebase AI Logic 访问 Gemini 模型时,项目的速率限制取决于您选择的 Gemini API 提供商。Firebase AI Logic 还提供了一种设置“每用户”速率限制的方法。
如果您超出配额,或者您访问的模型容量已用尽,则会收到 429 出错提示。
速率限制(配额)的运作方式
速率限制(配额)通过四个维度进行衡量:
- 每分钟请求数 (RPM)
- 每日请求数 (RPD)
- 每分钟 token 数 (TPM)
- 每天处理的词元数量 (TPD)
系统会根据每项限制评估您的用量,超出其中任何一项限制都会触发 429 配额超出错误。例如,如果您的 RPM 限额为 20,那么即使您未超出 TPM 或其他限额,在一分钟内发出 21 个请求也会导致错误。
速率限制在项目级应用,并适用于使用该 Firebase 项目的所有应用和 IP 地址。
限制因所使用的具体模型而异,并且某些限制仅适用于特定模型。
实验性模型和预览版模型的速率限制更为严格。
申请提高速率限制
如果您使用的是 Gemini Developer API 的“付费层级”,则可以申请提高速率限制。
设置“每位用户”的速率限制
如需使用 Firebase AI Logic,您的项目需要启用您选择的 Gemini API 提供方,但您还需要启用 Firebase AI Logic API,该 API 充当客户端 SDK 与 Gemini API 提供方之间的网关。当您最初在 Firebase 项目中设置 Firebase AI Logic 时,系统会为您启用此 API。
您可以将 Firebase AI Logic API 速率限制(配额)用作应用的“每用户”速率限制,特别是对于依赖于 Firebase AI Logic 的 AI 功能。您应设置此限制,以便合理地满足单个用户访问 AI 功能的需求,同时确保没有任何单个用户会超出 Gemini API 提供商的限制(这些限制应由所有用户共享)。
“每位用户”速率限制的详细信息
以下是有关 Firebase AI Logic API 速率限制(配额)的一些重要详情,具体而言,是每分钟请求数 (RPM):
它基于每位用户每个区域每分钟的“生成内容请求数”,而不基于模型。
这是适用于所有用户的速率限制。目前,无法为特定用户或特定用户群组设置速率限制*。
它在项目级应用,适用于使用该 Firebase 项目的所有应用和 IP 地址。
它适用于专门来自任何 Firebase AI Logic SDK 的任何调用。
默认速率限制为每位用户 100 RPM。
请注意,您仍需考虑 Gemini API 提供商的限制(见上文),这些限制优先于 Firebase AI Logic API。
* 如果您使用的是 Agent Platform Gemini API (formerly Vertex AI),并且您的应用会将用户定向到不同的区域(例如,使用 Firebase Remote Config),则您可以为特定区域的用户设置特定的速率限制。
调整“每位用户”的速率限制
如需调整速率限制(配额),您必须拥有 serviceusage.quotas.update 权限,默认情况下,Owner 和 Editor 角色包含该权限。
如需修改速率限制(配额)或申请提高配额,请按以下步骤操作:
在 Google Cloud 控制台中,前往 Firebase AI Logic API 页面。
点击管理。
在页面下方,点击配额和系统限制标签页。
过滤表格以显示感兴趣的配额,例如功能(生成内容的请求)和区域。
例如,如需查看任何受支持的亚洲区域中生成内容请求的每用户配额,您的过滤条件应如下所示:
Generate content requests+Dimension:region:asia选中每个相关配额左侧的复选框。
在配额对应行末尾,点击 ,然后选择修改配额。
在配额更改表单中,执行以下操作:
在新值字段中输入增加后的配额。
此配额在项目级层应用,并由使用该 Firebase 项目的所有应用和 IP 地址共享。
填写表单中的任何其他字段,然后点击完成。
点击提交请求。