本页介绍了使用 Live API及其模型的各种限制和规范。
一般规范和限制
支持的输入和输出： （如需了解详情，请参阅下方的媒体格式）
- 输入：文本、图片（而非 PDF）、音频、视频
- 输出：文本（转写）和音频（流式传输）
支持的工具：函数调用、使用
Google Search 进行 Grounding、 使用Google Maps 进行 Grounding知识截点日期：2025 年 1 月
Live API 不支持生成结构化输出（例如 JSON） 或 Count Tokens API。
与会话相关的限制
对于 Live API，会话 是指通过连接持续流式传输输入 和输出的持久连接。
如果会话超出以下 任何 限制，连接将会终止。不过请注意，Live API 提供了一些选项（见下文）来 处理这些与会话相关的限制。
会话上下文窗口 限制为 12.8 万个 token。
由于此上下文窗口限制，以下是根据输入模态估算出的会话时长上限：
- 仅音频输入会话的时长上限为
15 分钟 。 - 视频 + 音频输入会话的时长上限为
2 分钟 。
- 仅音频输入会话的时长上限为
连接时长 限制为大约
10 分钟 。您会在连接结束前大约
60 秒 收到 “即将结束”通知 。
以下是一些用于处理与会话相关的限制的选项：
详细了解如何 管理会话。
速率限制
Live API 对每个 Firebase 项目的并发会话数以及每分钟的 token 数 (TPM) 都有速率限制。
Gemini Developer API：
- 限制因项目的 Gemini Developer API “使用层级”而异（请参阅其 速率限制文档）
Agent Platform Gemini API (formerly Vertex AI)：
- 每个 Firebase 项目 1,000 个并发会话
- 每分钟 400 万个 token
媒体格式
Live API 支持以下类型的媒体：
- 输入：图片、音频、视频
- 输出：音频
图片格式
Live API 支持以下图片输入：
每个提示的图片数量上限：3,000
每个文件（内嵌数据）的文件大小上限：7 MB
支持的 MIME 类型：
image/png、image/jpeg、image/webp、image/heic、image/heif
音频格式
Live API 支持以下音频格式：
- 输入音频格式 ：原始 16 位 PCM 音频，采样率 16kHz，小端序
输出音频格式 ：原始 16 位 PCM 音频，采样率 24kHz，小端序
支持的 MIME 类型：
audio/x-aac、audio/flac、audio/mp3、audio/m4a、audio/mpeg、audio/mpga、audio/mp4、audio/ogg、audio/pcm、audio/wav、audio/webm
如需传达输入音频的采样率，请将每个包含音频的 Blob 的 MIME 类型设置为类似 audio/pcm;rate=16000 的值。
视频格式
Live API 需要接收一系列离散的图片帧，并支持视频 帧输入，速率为 1 帧/秒 (FPS)。
推荐的输入：1 FPS 的原生 768x768 分辨率。
支持的 MIME 类型：
video/x-flv、video/quicktime、video/mpeg、video/mpegs、video/mpg、video/mp4、video/webm、video/wmv、video/3gpp
请注意，此规范使得 Live API 不适合需要分析快速变化的视频的应用场景 ，例如高速 体育赛事中的逐场比赛分析。
响应语音
Live API 支持以下响应语音选项。如需查看 每种语音的演示，请参阅 Chirp 3：高清语音。
如果未指定响应语音，则默认为 Puck。
了解如何 指定响应语音。
Zephyr - 明快Kore - 坚定Orus - 坚定Autonoe - 明快Umbriel - 随和Erinome - 清晰Laomedeia - 欢快Schedar - 平稳Achird - 友好Sadachbia - 活泼
|
Puck - 欢快Fenrir - 兴奋Aoede - 轻快Enceladus - 气喘Algieba - 流畅Algenib - 沙哑Achernar - 柔和Gacrux - 成熟Zubenelgenubi - 随意Sadaltager - 博学
|
Charon - 信息丰富Leda - 年轻Callirrhoe - 随和Iapetus - 清晰Despina - 流畅Rasalgethi - 信息丰富Alnilam - 坚定Pulcherrima - 直率Vindemiatrix - 温柔Sulafat - 热情
|
语言
Live API 支持以下语言。 了解如何 影响响应语言。
| 语言 | BCP-47 代码 | 语言 | BCP-47 代码 |
|---|---|---|---|
| 阿拉伯语（埃及语） | ar-EG | 德语（德国） | de-DE |
| 英语（美国） | en-US | 西班牙语（美国） | es-US |
| 法语（法国） | fr-FR | 印地语（印度） | hi-IN |
| 印度尼西亚语（印度尼西亚） | id-ID | 意大利语（意大利） | it-IT |
| 日语（日本） | ja-JP | 韩语（韩国） | ko-KR |
| 葡萄牙语（巴西） | pt-BR | 俄语（俄罗斯） | ru-RU |
| 荷兰语（荷兰） | nl-NL | 波兰语（波兰） | pl-PL |
| 泰语（泰国） | th-TH | 土耳其语（土耳其） | tr-TR |
| 越南语（越南） | vi-VN | 罗马尼亚语（罗马尼亚） | ro-RO |
| 乌克兰语（乌克兰） | uk-UA | 孟加拉语（孟加拉） | bn-BD |
| 英语（印度） | en-IN 和 hi-IN 捆绑包 | 马拉地语（印度） | mr-IN |
| 泰米尔语（印度） | ta-IN | 泰卢固语（印度） | te-IN |