Gérer les sessions pour l'API Live

Gemini Live API traite des flux continus d'audio ou de texte appelés sessions. Vous pouvez gérer le cycle de vie de la session, de l'établissement de liaison initial à l'arrêt progressif.

Limites pour les sessions

Pour Live API, une session fait référence à une connexion persistante où l'entrée et la sortie sont diffusées en continu sur une connexion.

Si la session dépasse l'une des limites suivantes, la connexion est interrompue. Notez toutefois que le Live API fournit des options (voir ci-dessous) pour gérer ces limites liées aux sessions.

  • La fenêtre de contexte de session est limitée à 128 000 jetons.

    En raison de cette limite de la fenêtre de contexte, voici les durées maximales approximatives des sessions en fonction des modalités d'entrée :

    • Les sessions d'entrée audio uniquement sont limitées à 15 minutes.
    • Les entrées vidéo et audio sont limitées à 2 minutes.
  • La durée de la connexion est limitée à environ 10 minutes.

    Vous recevrez une notification de déconnexion environ 60 secondes avant la fin de la connexion.

Voici quelques options pour gérer les limites liées aux sessions :

Démarrer une session

Consultez le guide de démarrage pour Live API pour obtenir un extrait complet montrant comment démarrer une session.

Mettre à jour en cours de session

Les modèles Live API sont compatibles avec les fonctionnalités avancées suivantes pour les mises à jour en cours de session :

Ajouter des mises à jour incrémentielles du contenu

Vous pouvez ajouter des mises à jour incrémentielles pendant une session active. Utilisez-le pour envoyer une entrée textuelle, ou établir ou restaurer le contexte de la session.

  • Pour les contextes plus longs, nous vous recommandons de fournir un seul résumé des messages afin de libérer la fenêtre de contexte pour les interactions ultérieures.

  • Pour les contextes courts, vous pouvez envoyer des interactions au fur et à mesure pour représenter la séquence exacte des événements, comme dans l'extrait ci-dessous.

Swift

// Define initial turns (history/context).
let turns: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
  ModelContent(role: "model", parts: [TextPart("Paris")]),
]

// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)

// Define the new user query.
let newTurn: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)

Kotlin

// Define initial turns (history/context).
val turns = listOf(
  content("user") {
    text("What is the capital of France?")
  },
  content("model") {
    text("Paris")
  }
)

// Send history, keeping the conversational turn OPEN (false).
turns.forEach {
  session.send(
    content = it,
    turnComplete = false
  )
}

// Define the new user query.
val newTurn = content("user") {
  text("What is the capital of Germany?")
}

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  content = newTurn,
  turnComplete = true
)

Java

// Define initial turns (history/context).
List turns =
    Arrays.asList(
        new Content.Builder().setRole("user").addText("What is the capital of France?").build(),
        new Content.Builder().setRole("model").addText("Paris").build());

for (Content turn : turns) {
  session.send(
    turn,
    false // turnComplete: false
  );
}

// Define the new user query.
Content newTurn = new Content.Builder().addText("What is the capital of Germany?").build();

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  newTurn,
  true // isTurnComplete: true
);

Web

const turns = [{ type: "text", text: "Hello from the user!" }];

await session.send(
  turns,
  false // turnComplete: false
);

console.log("Sent history. Waiting for next input...");

// Define the new user query.
const newTurn = [{ type: "text", text: "And what is the capital of Germany?" }];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
    newTurn,
    true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");

Dart

// Define initial turns (history/context).
final List turns = [
  Content(
    "user",
    [TextPart("What is the capital of France?")],
  ),
  Content(
    "model",
    [TextPart("Paris")],
  ),
];

// Send history, keeping the conversational turn OPEN (false).
await session.send(
  input: turns,
  turnComplete: false,
);

// Define the new user query.
final List newTurn = [
  Content(
    "user",
    [TextPart("What is the capital of Germany?")],
  ),
];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
  input: newTurn,
  turnComplete: true,
);

Unity

// Define initial turns (history/context).
List turns = new List {
    new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
    new ModelContent("model", new ModelContent.TextPart("Paris") ),
};

// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
    await session.SendAsync(
        content: turn,
        turnComplete: false
    );
}

// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
    content: newTurn,
    turnComplete: true
);

Mettre à jour les instructions système en cours de session

Disponible uniquement lorsque vous utilisez Agent Platform Gemini API (formerly Vertex AI) comme fournisseur d'API.

Vous pouvez mettre à jour les instructions système pendant une session active. Cela vous permet d'adapter les réponses du modèle, par exemple en changeant la langue ou en modifiant le ton de la réponse.

Pour mettre à jour les instructions système en cours de session, vous pouvez envoyer du contenu textuel avec le rôle system. Les instructions système mises à jour resteront en vigueur pendant le reste de la session.

Swift

await session.sendContent(
  [ModelContent(
    role: "system",
    parts: [TextPart("new system instruction")]
  )],
  turnComplete: false
)

Kotlin

// In a coroutine scope
session.send(
    content = content("system") {
        text("new system instruction")
    },
    turnComplete = false
)

Java

session.send(
    new Content.Builder()
        .setRole("system")
        .addText("new system instruction")
        .build(),
    /* turnComplete: */ false
);

Web

Not yet supported for Web apps - check back soon!

Dart

try {
  await _session.send(
    input: Content(
      'system',
      [TextPart('new system instruction')],
    ),
    turnComplete: false,
  );
} catch (e) {
  print('Failed to update system instructions: $e');
}

Unity

try
{
    await session.SendAsync(
        content: new ModelContent(
            "system",
            new ModelContent.TextPart("new system instruction")
        ),
        turnComplete: false
    );
}
catch (Exception e)
{
    Debug.LogError($"Failed to update system instructions: {e.Message}");
}

Signaler manuellement l'activité de l'utilisateur

Par défaut, le Live API détecte automatiquement le début et la fin de la parole de l'utilisateur à l'aide de la détection de l'activité vocale (VAD), ce qui vous permet d'interrompre le modèle à tout moment (découvrez comment gérer les interruptions).

Toutefois, vous pouvez prendre le contrôle manuel complet des tours de parole (par exemple, pour une interface push-to-talk) en désactivant la détection automatique de l'activité vocale (VAD).

Si vous désactivez la DAV, le serveur ne détectera pas automatiquement la voix de l'utilisateur et ne déclenchera pas de réponses en fonction du silence audio. Dans ce scénario, vous devez délimiter manuellement les limites de chaque tour d'activité de l'utilisateur.

Découvrez comment désactiver la détection automatique de l'activité vocale (VAD) et signaler manuellement l'activité de l'utilisateur.

Compresser la fenêtre de contexte

Cliquez sur votre fournisseur Gemini API pour afficher le contenu et le code spécifiques au fournisseur sur cette page.

La fenêtre de contexte de session de Live API stocke les données diffusées en temps réel (25 jetons par seconde (TPS) pour l'audio et 258 TPS pour la vidéo), ainsi que d'autres contenus, y compris les entrées textuelles et les sorties du modèle. Tous les modèles Live API ont une limite de fenêtre de contexte de session de 128 000 jetons.

Par défaut, en raison de cette limite de la fenêtre de contexte, voici les durées maximales approximatives des sessions en fonction des modalités d'entrée :

  • Les sessions d'entrée audio uniquement sont limitées à 15 minutes.
  • Les entrées vidéo et audio sont limitées à 2 minutes.

Dans les sessions de longue durée, à mesure que la conversation progresse, l'historique des jetons audio et/ou vidéo s'accumule. Si cet historique dépasse la limite du modèle, celui-ci peut halluciner, ralentir ou la session peut être interrompue de force.

Pour autoriser des sessions plus longues, vous pouvez activer la compression de la fenêtre de contexte en définissant le champ contextWindowCompression dans LiveGenerationConfig. Lorsqu'il est activé, le serveur utilise un mécanisme de fenêtre glissante pour supprimer automatiquement les tours les plus anciens ou les résumer afin de maintenir la taille du contexte dans les limites par défaut ou spécifiées. Les instructions système ne sont pas supprimées et restent toujours au début de la fenêtre de contexte.

Du point de vue de l'utilisateur, cela permet d'obtenir des durées de session théoriquement infinies, car la "mémoire" est gérée en permanence.

Vous pouvez configurer le mécanisme de fenêtre glissante, ainsi que le nombre de jetons qui déclenchent la compression (facultatif) : (voir les paramètres et valeurs disponibles ci-dessous). Voici quelques points généraux à prendre en compte lors de l'utilisation de ces paramètres :

  • Si vous définissez une valeur très faible pour targetTokens, vous libérerez plus d'espace de contexte pour les flux continus, mais le modèle "oubliera" rapidement les tours de conversation plus anciens.

  • Si vous définissez targetTokens sur une valeur plus proche de triggerTokens, vous préservez davantage de mémoire, mais les routines de compression se déclenchent beaucoup plus fréquemment.

Paramètre Valeur par défaut pour la fenêtre glissante si elle n'est pas définie dans la configuration Valeur minimale Valeur maximale
triggerTokens
Longueur de contexte avant le déclenchement de la compression
80% de la limite de la fenêtre de contexte du modèle 5 000 128 000
targetTokens
le nombre cible de jetons à conserver
50% de la valeur triggerTokens
  • Si triggerTokens n'est pas défini explicitement, targetTokens est défini par défaut sur 50% de la valeur triggerTokens par défaut.
  • La valeur targetTokens doit être inférieure à la valeur triggerTokens.
0 128 000

Swift


// ...

let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(
        targetTokens: 2000,
      )
    )
  )
)

Kotlin


// ...

val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO,
        contextWindowCompression = ContextWindowCompressionConfig(
            triggerTokens = 10000,
            slidingWindow = SlidingWindow(targetTokens = 2000)
        )
    }
)

Java


// ...

LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "GEMINI_LIVE_API_MODEL_NAME",
        // Enable context window compression.
        // (Optional) Configure the number of tokens in the context window that triggers the compression.
        new LiveGenerationConfig.Builder()
                .setResponseModality(ResponseModality.AUDIO)
                .setContextWindowCompression(
                        new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
                )
                .build()
);

Web


// ...

const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

const liveModel = getLiveGenerativeModel(ai, {
  model: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
    contextWindowCompression: {
      triggerTokens: 10000,
      slidingWindow: {
        targetTokens: 2000,
      },
    },
  },
});

Dart


// ...

final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'GEMINI_LIVE_API_MODEL_NAME',
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: [ResponseModalities.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(targetTokens: 2000),
    ),
  ),
);

Unity


// ...

var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Audio },
        contextWindowCompression: new ContextWindowCompressionConfig(
            triggerTokens: 10000,
            slidingWindow: new SlidingWindow(targetTokens: 2000)
        )
    )
);

Détecter quand une session va se terminer

La durée maximale d'une connexion WebSocket unique et continue est d'environ 10 minutes. Une notification going away est envoyée au client 60 secondes avant la fin de la connexion, ce qui peut vous aider à prendre d'autres mesures (par exemple, en reprenant une session).

L'exemple suivant montre comment détecter l'arrêt imminent d'une connexion en écoutant une notification going away :

Swift

for try await response in session.responses {
  switch response.payload {

  case .goingAwayNotice(let goingAwayNotice):
    // Prepare for the session to close soon
    if let timeLeft = goingAwayNotice.timeLeft {
        print("Server going away in \(timeLeft) seconds")
    }
  }
}

Kotlin

for (response in session.responses) {
    when (val message = response.payload) {
        is LiveServerGoAway -> {
            // Prepare for the session to close soon
            val remaining = message.timeLeft
            logger.info("Server going away in $remaining")
        }
    }
}

Java

session.getResponses().forEach(response -> {
    if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
        LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
        // Prepare for the session to close soon
        Duration timeLeft = notice.getTimeLeft();
    }
});

Web

for await (const message of session.receive()) {
  switch (message.type) {

  ...
  case "goingAwayNotice":
    console.log("Server going away. Time left:", message.timeLeft);
    break;
  }
}

Dart

Future _handleLiveServerMessage(LiveServerResponse response) async {
  final message = response.message;
  if (message is GoingAwayNotice) {
     // Prepare for the session to close soon
     developer.log('Server going away. Time left: ${message.timeLeft}');
  }
}

Unity

foreach (var response in session.Responses) {
    if (response.Payload is LiveSessionGoingAway notice) {
        // Prepare for the session to close soon
        TimeSpan timeLeft = notice.TimeLeft;
        Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
    }
}

Reprendre une session

Live API accepte la reprise de session pour éviter de perdre le contexte de la conversation. Chaque session possède un handle, qui peut être utilisé de différentes manières :

  • Maintenir une session avant d'atteindre la limite de temps de connexion

    La durée maximale d'une connexion WebSocket unique et continue est d'environ 10 minutes. Vous pouvez détecter quand une connexion est sur le point de se terminer en écoutant une notification de déconnexion, puis en prolongeant la session en établissant une nouvelle connexion à l'aide du handle de session.

  • Reprendre une session juste après une perte de connexion

    Si une connexion se termine ou est interrompue avant la durée maximale de connexion (par exemple, en passant du Wi-Fi à la 5G), le serveur conserve l'état de la session pendant environ 10 minutes. Pendant cette période, vous pouvez reprendre la session en établissant une nouvelle connexion à l'aide du handle de session.

  • Reprendre une session après une longue période

    Une fois la connexion terminée, le serveur conserve l'état de la session pendant quelques heures. Pendant cette période, vous pouvez reprendre la session en établissant une nouvelle connexion à l'aide du handle de session. Notez que cette période est différente pour les deux fournisseurs Gemini API : Gemini Developer API est de 2 heures | Agent Platform Gemini API (formerly Vertex AI) est de 24 heures.

La reprise de session est désactivée par défaut. Pour activer la reprise de session, transmettez une configuration de reprise vide lors de l'établissement d'une connexion. Lorsqu'elle est activée, le serveur envoie régulièrement des mises à jour contenant un handle de reprise de session. Si la session est déconnectée, vous pouvez vous reconnecter et transmettre ce handle pour reprendre la session avec son contexte intact.

Les exemples suivants montrent deux options pour reprendre la session :

Swift

// Local variable to save the active session handle
var activeSessionHandle: String?

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
  sessionResumption: SessionResumptionConfig()
)

// Start receiving responses
for try await message in session.responses {
  // Check for new session handles inside your message handling loop
  switch message.payload {
  case let .sessionResumptionUpdate(updateMessage):
    guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
      continue
    }
    activeSessionHandle = newHandle
    print("SessionResumptionUpdate: handle \(newHandle)")
  // ... handle other LiveServerMessage types ...
  default:
    break
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
  session = try await liveModel.connect(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
  try await session.resumeSession(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

Kotlin

// Local variable to save the active session handle
var activeSessionHandle: String? = null

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
    sessionResumption = SessionResumptionConfig()
)

// Start receiving responses
session.receive().collect { message ->
    // Process other received response types...

    // Check for new session handles inside your message handling loop
    if (message is LiveSessionResumptionUpdate) {
        if (message.resumable == true && message.newHandle != null) {
            activeSessionHandle = message.newHandle
            Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
        }
    }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
    session = liveModel.connect(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
    session.resumeSession(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

Java

For Java, session resumption is not yet supported. Check back soon!

Web

// Local variable to save the active session handle
let activeSessionHandle = null;

// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});

// Start receiving responses
for await (const message of session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (message.type === 'sessionResumptionUpdate') {
    if (message.resumable && message.newHandle) {
      activeSessionHandle = message.newHandle;
      console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
  session = await liveModel.connect({
    handle: activeSessionHandle
  });
}

// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
  await session.resumeSession({
    handle: activeSessionHandle
  });
}

Dart

// Local variable to save the active session handle
String? _activeSessionHandle;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
  sessionResumption: SessionResumptionConfig(),
);

// Start receiving responses
await for (final response in _session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  final message = response.message;
  if (message is SessionResumptionUpdate &&
      message.resumable != null &&
      message.resumable!) {
    _activeSessionHandle = message.newHandle;
    log('SessionResumptionUpdate: handle ${message.newHandle}');
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
  _session = await _liveModel.connect(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
  await _session.resumeSession(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

Unity

// Local variable to save the active session handle
string activeSessionHandle = null;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
    sessionResumption: new SessionResumptionConfig()
);

// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (response.Message is LiveSessionResumptionUpdate updateMessage)
  {
    if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
    {
      activeSessionHandle = updateMessage.NewHandle;
      Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  session = await liveModel.ConnectAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}

// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  await session.ResumeSessionAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}