Gemini Live API traite des flux continus d'audio ou de texte appelés sessions. Vous pouvez gérer le cycle de vie de la session, de l'établissement de liaison initial à l'arrêt progressif.
Limites pour les sessions
Pour Live API, une session fait référence à une connexion persistante où l'entrée et la sortie sont diffusées en continu sur une connexion.
Si la session dépasse l'une des limites suivantes, la connexion est interrompue. Notez toutefois que le Live API fournit des options (voir ci-dessous) pour gérer ces limites liées aux sessions.
La fenêtre de contexte de session est limitée à 128 000 jetons.
En raison de cette limite de la fenêtre de contexte, voici les durées maximales approximatives des sessions en fonction des modalités d'entrée :
- Les sessions d'entrée audio uniquement sont limitées à
15 minutes . - Les entrées vidéo et audio sont limitées à
2 minutes .
- Les sessions d'entrée audio uniquement sont limitées à
La durée de la connexion est limitée à environ
10 minutes .Vous recevrez une notification de déconnexion environ
60 secondes avant la fin de la connexion.
Voici quelques options pour gérer les limites liées aux sessions :
Compresser la fenêtre de contexte de la session pour que le serveur maintienne automatiquement la taille du contexte dans la limite.
Reprendre une session pour éviter de perdre le contexte de la conversation lors de brèves déconnexions du réseau ou après avoir reçu une notification going away.
Démarrer une session
Consultez le guide de démarrage pour Live API pour obtenir un extrait complet montrant comment démarrer une session.
Mettre à jour en cours de session
Les modèles Live API sont compatibles avec les fonctionnalités avancées suivantes pour les mises à jour en cours de session :
Mettre à jour les instructions système (pour Agent Platform Gemini API (formerly Vertex AI) uniquement)
Ajouter des mises à jour incrémentielles du contenu
Vous pouvez ajouter des mises à jour incrémentielles pendant une session active. Utilisez-le pour envoyer une entrée textuelle, ou établir ou restaurer le contexte de la session.
Pour les contextes plus longs, nous vous recommandons de fournir un seul résumé des messages afin de libérer la fenêtre de contexte pour les interactions ultérieures.
Pour les contextes courts, vous pouvez envoyer des interactions au fur et à mesure pour représenter la séquence exacte des événements, comme dans l'extrait ci-dessous.
Swift
// Define initial turns (history/context).
let turns: [ModelContent] = [
ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
ModelContent(role: "model", parts: [TextPart("Paris")]),
]
// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)
// Define the new user query.
let newTurn: [ModelContent] = [
ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)
Kotlin
// Define initial turns (history/context).
val turns = listOf(
content("user") {
text("What is the capital of France?")
},
content("model") {
text("Paris")
}
)
// Send history, keeping the conversational turn OPEN (false).
turns.forEach {
session.send(
content = it,
turnComplete = false
)
}
// Define the new user query.
val newTurn = content("user") {
text("What is the capital of Germany?")
}
// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
content = newTurn,
turnComplete = true
)
Java
// Define initial turns (history/context).
List turns =
Arrays.asList(
new Content.Builder().setRole("user").addText("What is the capital of France?").build(),
new Content.Builder().setRole("model").addText("Paris").build());
for (Content turn : turns) {
session.send(
turn,
false // turnComplete: false
);
}
// Define the new user query.
Content newTurn = new Content.Builder().addText("What is the capital of Germany?").build();
// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
newTurn,
true // isTurnComplete: true
);
Web
const turns = [{ type: "text", text: "Hello from the user!" }];
await session.send(
turns,
false // turnComplete: false
);
console.log("Sent history. Waiting for next input...");
// Define the new user query.
const newTurn = [{ type: "text", text: "And what is the capital of Germany?" }];
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
newTurn,
true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");
Dart
// Define initial turns (history/context).
final List turns = [
Content(
"user",
[TextPart("What is the capital of France?")],
),
Content(
"model",
[TextPart("Paris")],
),
];
// Send history, keeping the conversational turn OPEN (false).
await session.send(
input: turns,
turnComplete: false,
);
// Define the new user query.
final List newTurn = [
Content(
"user",
[TextPart("What is the capital of Germany?")],
),
];
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
input: newTurn,
turnComplete: true,
);
Unity
// Define initial turns (history/context).
List turns = new List {
new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
new ModelContent("model", new ModelContent.TextPart("Paris") ),
};
// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
await session.SendAsync(
content: turn,
turnComplete: false
);
}
// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
content: newTurn,
turnComplete: true
);
Mettre à jour les instructions système en cours de session
| Disponible uniquement lorsque vous utilisez Agent Platform Gemini API (formerly Vertex AI) comme fournisseur d'API. |
Vous pouvez mettre à jour les instructions système pendant une session active. Cela vous permet d'adapter les réponses du modèle, par exemple en changeant la langue ou en modifiant le ton de la réponse.
Pour mettre à jour les instructions système en cours de session, vous pouvez envoyer du contenu textuel avec le rôle system. Les instructions système mises à jour resteront en vigueur pendant le reste de la session.
Swift
await session.sendContent(
[ModelContent(
role: "system",
parts: [TextPart("new system instruction")]
)],
turnComplete: false
)
Kotlin
// In a coroutine scope
session.send(
content = content("system") {
text("new system instruction")
},
turnComplete = false
)
Java
session.send(
new Content.Builder()
.setRole("system")
.addText("new system instruction")
.build(),
/* turnComplete: */ false
);
Web
Not yet supported for Web apps - check back soon!
Dart
try {
await _session.send(
input: Content(
'system',
[TextPart('new system instruction')],
),
turnComplete: false,
);
} catch (e) {
print('Failed to update system instructions: $e');
}
Unity
try
{
await session.SendAsync(
content: new ModelContent(
"system",
new ModelContent.TextPart("new system instruction")
),
turnComplete: false
);
}
catch (Exception e)
{
Debug.LogError($"Failed to update system instructions: {e.Message}");
}
Signaler manuellement l'activité de l'utilisateur
Par défaut, le Live API détecte automatiquement le début et la fin de la parole de l'utilisateur à l'aide de la détection de l'activité vocale (VAD), ce qui vous permet d'interrompre le modèle à tout moment (découvrez comment gérer les interruptions).
Toutefois, vous pouvez prendre le contrôle manuel complet des tours de parole (par exemple, pour une interface push-to-talk) en désactivant la détection automatique de l'activité vocale (VAD).
Si vous désactivez la DAV, le serveur ne détectera pas automatiquement la voix de l'utilisateur et ne déclenchera pas de réponses en fonction du silence audio. Dans ce scénario, vous devez délimiter manuellement les limites de chaque tour d'activité de l'utilisateur.
Découvrez comment désactiver la détection automatique de l'activité vocale (VAD) et signaler manuellement l'activité de l'utilisateur.
Compresser la fenêtre de contexte
|
Cliquez sur votre fournisseur Gemini API pour afficher le contenu et le code spécifiques au fournisseur sur cette page. |
La fenêtre de contexte de session de Live API stocke les données diffusées en temps réel (25 jetons par seconde (TPS) pour l'audio et 258 TPS pour la vidéo), ainsi que d'autres contenus, y compris les entrées textuelles et les sorties du modèle. Tous les modèles Live API ont une limite de fenêtre de contexte de session de 128 000 jetons.
Par défaut, en raison de cette limite de la fenêtre de contexte, voici les durées maximales approximatives des sessions en fonction des modalités d'entrée :
- Les sessions d'entrée audio uniquement sont limitées à
15 minutes . - Les entrées vidéo et audio sont limitées à
2 minutes .
Dans les sessions de longue durée, à mesure que la conversation progresse, l'historique des jetons audio et/ou vidéo s'accumule. Si cet historique dépasse la limite du modèle, celui-ci peut halluciner, ralentir ou la session peut être interrompue de force.
Pour autoriser des sessions plus longues, vous pouvez activer la compression de la fenêtre de contexte en définissant le champ contextWindowCompression dans LiveGenerationConfig. Lorsqu'il est activé, le serveur utilise un mécanisme de fenêtre glissante pour supprimer automatiquement les tours les plus anciens ou les résumer afin de maintenir la taille du contexte dans les limites par défaut ou spécifiées. Les instructions système ne sont pas supprimées et restent toujours au début de la fenêtre de contexte.
Du point de vue de l'utilisateur, cela permet d'obtenir des durées de session théoriquement infinies, car la "mémoire" est gérée en permanence.
Vous pouvez configurer le mécanisme de fenêtre glissante, ainsi que le nombre de jetons qui déclenchent la compression (facultatif) : (voir les paramètres et valeurs disponibles ci-dessous). Voici quelques points généraux à prendre en compte lors de l'utilisation de ces paramètres :
Si vous définissez une valeur très faible pour
targetTokens, vous libérerez plus d'espace de contexte pour les flux continus, mais le modèle "oubliera" rapidement les tours de conversation plus anciens.Si vous définissez
targetTokenssur une valeur plus proche detriggerTokens, vous préservez davantage de mémoire, mais les routines de compression se déclenchent beaucoup plus fréquemment.
| Paramètre | Valeur par défaut pour la fenêtre glissante si elle n'est pas définie dans la configuration | Valeur minimale | Valeur maximale |
|---|---|---|---|
triggerTokensLongueur de contexte avant le déclenchement de la compression |
80% de la limite de la fenêtre de contexte du modèle | 5 000 | 128 000 |
targetTokensle nombre cible de jetons à conserver |
50% de la valeur triggerTokens
|
0 | 128 000 |
Swift
// ...
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "GEMINI_LIVE_API_MODEL_NAME",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio],
contextWindowCompression: ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: SlidingWindow(
targetTokens: 2000,
)
)
)
)
Kotlin
// ...
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "GEMINI_LIVE_API_MODEL_NAME",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO,
contextWindowCompression = ContextWindowCompressionConfig(
triggerTokens = 10000,
slidingWindow = SlidingWindow(targetTokens = 2000)
)
}
)
Java
// ...
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"GEMINI_LIVE_API_MODEL_NAME",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.setContextWindowCompression(
new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
)
.build()
);
Web
// ...
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
const liveModel = getLiveGenerativeModel(ai, {
model: "GEMINI_LIVE_API_MODEL_NAME",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
contextWindowCompression: {
triggerTokens: 10000,
slidingWindow: {
targetTokens: 2000,
},
},
},
});
Dart
// ...
final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'GEMINI_LIVE_API_MODEL_NAME',
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
contextWindowCompression: ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: SlidingWindow(targetTokens: 2000),
),
),
);
Unity
// ...
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "GEMINI_LIVE_API_MODEL_NAME",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio },
contextWindowCompression: new ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: new SlidingWindow(targetTokens: 2000)
)
)
);
Détecter quand une session va se terminer
La durée maximale d'une connexion WebSocket unique et continue est d'environ
L'exemple suivant montre comment détecter l'arrêt imminent d'une connexion en écoutant une notification going away :
Swift
for try await response in session.responses {
switch response.payload {
case .goingAwayNotice(let goingAwayNotice):
// Prepare for the session to close soon
if let timeLeft = goingAwayNotice.timeLeft {
print("Server going away in \(timeLeft) seconds")
}
}
}
Kotlin
for (response in session.responses) {
when (val message = response.payload) {
is LiveServerGoAway -> {
// Prepare for the session to close soon
val remaining = message.timeLeft
logger.info("Server going away in $remaining")
}
}
}
Java
session.getResponses().forEach(response -> {
if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
// Prepare for the session to close soon
Duration timeLeft = notice.getTimeLeft();
}
});
Web
for await (const message of session.receive()) {
switch (message.type) {
...
case "goingAwayNotice":
console.log("Server going away. Time left:", message.timeLeft);
break;
}
}
Dart
Future _handleLiveServerMessage(LiveServerResponse response) async {
final message = response.message;
if (message is GoingAwayNotice) {
// Prepare for the session to close soon
developer.log('Server going away. Time left: ${message.timeLeft}');
}
}
Unity
foreach (var response in session.Responses) {
if (response.Payload is LiveSessionGoingAway notice) {
// Prepare for the session to close soon
TimeSpan timeLeft = notice.TimeLeft;
Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
}
}
Reprendre une session
Live API accepte la reprise de session pour éviter de perdre le contexte de la conversation. Chaque session possède un handle, qui peut être utilisé de différentes manières :
Maintenir une session avant d'atteindre la limite de temps de connexion
La durée maximale d'une connexion WebSocket unique et continue est d'environ
10 minutes . Vous pouvez détecter quand une connexion est sur le point de se terminer en écoutant une notification de déconnexion, puis en prolongeant la session en établissant une nouvelle connexion à l'aide du handle de session.Reprendre une session juste après une perte de connexion
Si une connexion se termine ou est interrompue avant la durée maximale de connexion (par exemple, en passant du Wi-Fi à la 5G), le serveur conserve l'état de la session pendant environ
10 minutes . Pendant cette période, vous pouvez reprendre la session en établissant une nouvelle connexion à l'aide du handle de session.Reprendre une session après une longue période
Une fois la connexion terminée, le serveur conserve l'état de la session pendant quelques heures. Pendant cette période, vous pouvez reprendre la session en établissant une nouvelle connexion à l'aide du handle de session. Notez que cette période est différente pour les deux fournisseurs Gemini API : Gemini Developer API est de
2 heures | Agent Platform Gemini API (formerly Vertex AI) est de24 heures .
La reprise de session est désactivée par défaut. Pour activer la reprise de session, transmettez une configuration de reprise vide lors de l'établissement d'une connexion. Lorsqu'elle est activée, le serveur envoie régulièrement des mises à jour contenant un handle de reprise de session. Si la session est déconnectée, vous pouvez vous reconnecter et transmettre ce handle pour reprendre la session avec son contexte intact.
Les exemples suivants montrent deux options pour reprendre la session :
Swift
// Local variable to save the active session handle
var activeSessionHandle: String?
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
sessionResumption: SessionResumptionConfig()
)
// Start receiving responses
for try await message in session.responses {
// Check for new session handles inside your message handling loop
switch message.payload {
case let .sessionResumptionUpdate(updateMessage):
guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
continue
}
activeSessionHandle = newHandle
print("SessionResumptionUpdate: handle \(newHandle)")
// ... handle other LiveServerMessage types ...
default:
break
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
session = try await liveModel.connect(
sessionResumption: SessionResumptionConfig(handle: handle)
)
}
// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
try await session.resumeSession(
sessionResumption: SessionResumptionConfig(handle: handle)
)
}
Kotlin
// Local variable to save the active session handle
var activeSessionHandle: String? = null
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
sessionResumption = SessionResumptionConfig()
)
// Start receiving responses
session.receive().collect { message ->
// Process other received response types...
// Check for new session handles inside your message handling loop
if (message is LiveSessionResumptionUpdate) {
if (message.resumable == true && message.newHandle != null) {
activeSessionHandle = message.newHandle
Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
session = liveModel.connect(
sessionResumption = SessionResumptionConfig(handle = handle)
)
}
// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
session.resumeSession(
sessionResumption = SessionResumptionConfig(handle = handle)
)
}
Java
For Java, session resumption is not yet supported. Check back soon!
Web
// Local variable to save the active session handle
let activeSessionHandle = null;
// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});
// Start receiving responses
for await (const message of session.receive()) {
// Process other received response types...
// Check for new session handles inside your message handling loop
if (message.type === 'sessionResumptionUpdate') {
if (message.resumable && message.newHandle) {
activeSessionHandle = message.newHandle;
console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
session = await liveModel.connect({
handle: activeSessionHandle
});
}
// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
await session.resumeSession({
handle: activeSessionHandle
});
}
Dart
// Local variable to save the active session handle
String? _activeSessionHandle;
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
sessionResumption: SessionResumptionConfig(),
);
// Start receiving responses
await for (final response in _session.receive()) {
// Process other received response types...
// Check for new session handles inside your message handling loop
final message = response.message;
if (message is SessionResumptionUpdate &&
message.resumable != null &&
message.resumable!) {
_activeSessionHandle = message.newHandle;
log('SessionResumptionUpdate: handle ${message.newHandle}');
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
_session = await _liveModel.connect(
sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
);
}
// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
await _session.resumeSession(
sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
);
}
Unity
// Local variable to save the active session handle
string activeSessionHandle = null;
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
sessionResumption: new SessionResumptionConfig()
);
// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
// Process other received response types...
// Check for new session handles inside your message handling loop
if (response.Message is LiveSessionResumptionUpdate updateMessage)
{
if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
{
activeSessionHandle = updateMessage.NewHandle;
Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
session = await liveModel.ConnectAsync(
sessionResumption: new SessionResumptionConfig(activeSessionHandle)
);
}
// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
await session.ResumeSessionAsync(
sessionResumption: new SessionResumptionConfig(activeSessionHandle)
);
}