Sitzungen für die Live API verwalten

Die Gemini Live API verarbeitet kontinuierliche Audio- oder Textstreams, die als Sitzungen bezeichnet werden. Sie können den Lebenszyklus der Sitzung verwalten, vom ersten Handshake bis zur ordnungsgemäßen Beendigung.

Limits für Sitzungen

Für die Live API bezieht sich eine Sitzung auf eine persistente Verbindung, bei der Eingabe und Ausgabe kontinuierlich über eine Verbindung gestreamt werden.

Wenn die Sitzung eines der folgenden Limits überschreitet, wird die Verbindung beendet. Beachten Sie jedoch, dass Live API einige Optionen (siehe unten) bietet, um diese sitzungsbezogenen Limits zu verwalten.

  • Das Kontextfenster der Sitzung ist auf 128.000 Tokens beschränkt.

    Aufgrund dieses Limits für das Kontextfenster gelten die folgenden ungefähren maximalen Sitzungslängen basierend auf den Eingabemodalitäten:

    • Sitzungen mit reiner Audioeingabe sind auf 15 Minuten begrenzt.
    • Video- und Audioeingaben sind auf 2 Minuten begrenzt.
  • Die Verbindungsdauer ist auf etwa 10 Minuten begrenzt.

    Etwa 60 Sekunden vor dem Ende der Verbindung erhalten Sie eine Benachrichtigung, dass die Verbindung beendet wird.

Hier sind einige Optionen für den Umgang mit sitzungsbezogenen Limits:

Sitzung starten

Im Startleitfaden für Live API finden Sie ein vollständiges Snippet, das zeigt, wie Sie eine Sitzung starten.

Aktualisierung während der Sitzung

Die Live API-Modelle unterstützen die folgenden erweiterten Funktionen für Aktualisierungen während der Sitzung:

Inkrementelle Inhaltsupdates hinzufügen

Sie können während einer aktiven Sitzung inkrementelle Updates hinzufügen. Verwenden Sie diese Option, um Texteingaben zu senden, den Sitzungskontext festzulegen oder den Sitzungskontext wiederherzustellen.

  • Bei längeren Kontexten empfehlen wir, eine Zusammenfassung mit einer einzelnen Nachricht bereitzustellen, um das Kontextfenster für nachfolgende Interaktionen freizugeben.

  • Bei kurzen Kontexten können Sie detaillierte Interaktionen senden, um die genaue Abfolge von Ereignissen darzustellen, wie im folgenden Snippet.

Swift

// Define initial turns (history/context).
let turns: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
  ModelContent(role: "model", parts: [TextPart("Paris")]),
]

// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)

// Define the new user query.
let newTurn: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)

Kotlin

// Define initial turns (history/context).
val turns = listOf(
  content("user") {
    text("What is the capital of France?")
  },
  content("model") {
    text("Paris")
  }
)

// Send history, keeping the conversational turn OPEN (false).
turns.forEach {
  session.send(
    content = it,
    turnComplete = false
  )
}

// Define the new user query.
val newTurn = content("user") {
  text("What is the capital of Germany?")
}

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  content = newTurn,
  turnComplete = true
)

Java

// Define initial turns (history/context).
List turns =
    Arrays.asList(
        new Content.Builder().setRole("user").addText("What is the capital of France?").build(),
        new Content.Builder().setRole("model").addText("Paris").build());

for (Content turn : turns) {
  session.send(
    turn,
    false // turnComplete: false
  );
}

// Define the new user query.
Content newTurn = new Content.Builder().addText("What is the capital of Germany?").build();

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  newTurn,
  true // isTurnComplete: true
);

Web

const turns = [{ type: "text", text: "Hello from the user!" }];

await session.send(
  turns,
  false // turnComplete: false
);

console.log("Sent history. Waiting for next input...");

// Define the new user query.
const newTurn = [{ type: "text", text: "And what is the capital of Germany?" }];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
    newTurn,
    true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");

Dart

// Define initial turns (history/context).
final List turns = [
  Content(
    "user",
    [TextPart("What is the capital of France?")],
  ),
  Content(
    "model",
    [TextPart("Paris")],
  ),
];

// Send history, keeping the conversational turn OPEN (false).
await session.send(
  input: turns,
  turnComplete: false,
);

// Define the new user query.
final List newTurn = [
  Content(
    "user",
    [TextPart("What is the capital of Germany?")],
  ),
];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
  input: newTurn,
  turnComplete: true,
);

Einheit

// Define initial turns (history/context).
List turns = new List {
    new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
    new ModelContent("model", new ModelContent.TextPart("Paris") ),
};

// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
    await session.SendAsync(
        content: turn,
        turnComplete: false
    );
}

// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
    content: newTurn,
    turnComplete: true
);

Systemanweisungen während einer Sitzung aktualisieren

Nur verfügbar, wenn Sie Agent Platform Gemini API (formerly Vertex AI) als API-Anbieter verwenden.

Sie können die Systemanweisungen während einer aktiven Sitzung aktualisieren. Damit können Sie die Antworten des Modells anpassen, z. B. die Antwortsprache oder den Ton ändern.

Wenn Sie die Systemanweisungen während einer Sitzung aktualisieren möchten, können Sie Textinhalte mit der Rolle system senden. Die aktualisierten Systemanweisungen bleiben für den Rest der Sitzung gültig.

Swift

await session.sendContent(
  [ModelContent(
    role: "system",
    parts: [TextPart("new system instruction")]
  )],
  turnComplete: false
)

Kotlin

// In a coroutine scope
session.send(
    content = content("system") {
        text("new system instruction")
    },
    turnComplete = false
)

Java

session.send(
    new Content.Builder()
        .setRole("system")
        .addText("new system instruction")
        .build(),
    /* turnComplete: */ false
);

Web

Not yet supported for Web apps - check back soon!

Dart

try {
  await _session.send(
    input: Content(
      'system',
      [TextPart('new system instruction')],
    ),
    turnComplete: false,
  );
} catch (e) {
  print('Failed to update system instructions: $e');
}

Einheit

try
{
    await session.SendAsync(
        content: new ModelContent(
            "system",
            new ModelContent.TextPart("new system instruction")
        ),
        turnComplete: false
    );
}
catch (Exception e)
{
    Debug.LogError($"Failed to update system instructions: {e.Message}");
}

Nutzeraktivität manuell signalisieren

Standardmäßig erkennt die Live API den Beginn und das Ende der Sprache des Nutzers automatisch mithilfe der Spracherkennung (Voice Activity Detection, VAD). So können Sie das Modell jederzeit unterbrechen (Informationen zum Umgang mit Unterbrechungen).

Sie können jedoch die vollständige manuelle Kontrolle über die Gesprächsrunden übernehmen (z. B. für eine Push-to-Talk-Oberfläche), indem Sie die automatische Spracherkennung (Voice Activity Detection, VAD) deaktivieren.

Wenn Sie VAD deaktivieren, erkennt der Server die Sprache des Nutzers nicht automatisch und löst keine Antworten basierend auf Audiostille aus. In diesem Szenario müssen Sie die Grenzen der einzelnen Nutzeraktivitätsrunden manuell festlegen.

Automatische Spracherkennung (VAD) deaktivieren und Nutzeraktivität manuell signalisieren

Kontextfenster komprimieren

Klicken Sie auf Ihren Gemini API-Anbieter, um anbieterspezifische Inhalte und Code auf dieser Seite aufzurufen.

Im Sitzungskontextfenster von Live API werden in Echtzeit gestreamte Daten (25 Tokens pro Sekunde (TPS) für Audio und 258 TPS für Video) sowie andere Inhalte wie Texteingaben und Modellausgaben gespeichert. Alle Live API-Modelle haben ein Limit für das Kontextfenster der Sitzung von 128.000 Tokens.

Aufgrund dieses Limits für das Kontextfenster gelten standardmäßig die folgenden ungefähren maximalen Sitzungslängen basierend auf den Eingabemodalitäten:

  • Sitzungen mit reiner Audioeingabe sind auf 15 Minuten begrenzt.
  • Video- und Audioeingaben sind auf 2 Minuten begrenzt.

In lang andauernden Sitzungen sammelt sich im Laufe der Unterhaltung ein Verlauf von Audio- und/oder Video-Tokens an. Wenn dieser Verlauf das Limit des Modells überschreitet, kann es zu Halluzinationen oder Verlangsamungen kommen oder die Sitzung wird möglicherweise zwangsweise beendet.

Wenn Sie längere Sitzungen ermöglichen möchten, können Sie die Kontextfensterkomprimierung aktivieren. Legen Sie dazu das Feld contextWindowCompression als Teil der LiveGenerationConfig fest. Wenn diese Option aktiviert ist, verwendet der Server einen Sliding-Window-Mechanismus, um die ältesten Turns automatisch zu verwerfen oder zusammenzufassen, damit die Kontextgröße innerhalb der Standard- oder angegebenen Limits bleibt. Systemanweisungen werden nicht verworfen und bleiben immer am Anfang des Kontextfensters.

Aus Nutzersicht ermöglicht dies theoretisch unbegrenzte Sitzungsdauern, da der „Speicher“ ständig verwaltet wird.

Sie können den Mechanismus für das gleitende Fenster sowie optional die Anzahl der Tokens konfigurieren, die die Komprimierung auslösen (siehe verfügbare Einstellungen und Werte unten). Hier sind einige allgemeine Überlegungen zur Verwendung dieser Einstellungen:

  • Wenn Sie targetTokens sehr niedrig einstellen, wird mehr Kontextraum für kontinuierliche Streams freigegeben, aber das Modell „vergisst“ ältere Gesprächsrunden schnell.

  • Wenn Sie targetTokens näher an triggerTokens festlegen, wird mehr Speicherplatz beibehalten, aber die Komprimierungsroutinen werden viel häufiger ausgelöst.

Einstellung Standard für gleitendes Fenster, wenn nicht in der Konfiguration festgelegt Mindestwert Höchstwert
triggerTokens
die Kontextlänge, bevor die Komprimierung ausgelöst wird
80% des Limits für das Kontextfenster des Modells 5.000 128.000
targetTokens
die Zielanzahl der beizubehaltenden Tokens
50% des triggerTokens-Werts
  • Wenn triggerTokens nicht explizit festgelegt ist, wird für targetTokens standardmäßig 50% des Standardwerts von triggerTokens verwendet.
  • Der Wert targetTokens muss kleiner als der Wert triggerTokens sein.
0 128.000

Swift


// ...

let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(
        targetTokens: 2000,
      )
    )
  )
)

Kotlin


// ...

val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO,
        contextWindowCompression = ContextWindowCompressionConfig(
            triggerTokens = 10000,
            slidingWindow = SlidingWindow(targetTokens = 2000)
        )
    }
)

Java


// ...

LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "GEMINI_LIVE_API_MODEL_NAME",
        // Enable context window compression.
        // (Optional) Configure the number of tokens in the context window that triggers the compression.
        new LiveGenerationConfig.Builder()
                .setResponseModality(ResponseModality.AUDIO)
                .setContextWindowCompression(
                        new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
                )
                .build()
);

Web


// ...

const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

const liveModel = getLiveGenerativeModel(ai, {
  model: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
    contextWindowCompression: {
      triggerTokens: 10000,
      slidingWindow: {
        targetTokens: 2000,
      },
    },
  },
});

Dart


// ...

final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'GEMINI_LIVE_API_MODEL_NAME',
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: [ResponseModalities.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(targetTokens: 2000),
    ),
  ),
);

Einheit


// ...

var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Audio },
        contextWindowCompression: new ContextWindowCompressionConfig(
            triggerTokens: 10000,
            slidingWindow: new SlidingWindow(targetTokens: 2000)
        )
    )
);

Erkennen, wann eine Sitzung endet

Die maximale Dauer einer einzelnen, kontinuierlichen WebSocket-Verbindung beträgt etwa 10 Minuten. 60 Sekunden vor dem Ende der Verbindung wird eine Going Away-Benachrichtigung an den Client gesendet. So können Sie weitere Maßnahmen ergreifen, z. B. eine Sitzung fortsetzen.

Im folgenden Beispiel wird gezeigt, wie Sie eine bevorstehende Verbindungsbeendigung erkennen, indem Sie auf eine going away-Benachrichtigung warten:

Swift

for try await response in session.responses {
  switch response.payload {

  case .goingAwayNotice(let goingAwayNotice):
    // Prepare for the session to close soon
    if let timeLeft = goingAwayNotice.timeLeft {
        print("Server going away in \(timeLeft) seconds")
    }
  }
}

Kotlin

for (response in session.responses) {
    when (val message = response.payload) {
        is LiveServerGoAway -> {
            // Prepare for the session to close soon
            val remaining = message.timeLeft
            logger.info("Server going away in $remaining")
        }
    }
}

Java

session.getResponses().forEach(response -> {
    if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
        LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
        // Prepare for the session to close soon
        Duration timeLeft = notice.getTimeLeft();
    }
});

Web

for await (const message of session.receive()) {
  switch (message.type) {

  ...
  case "goingAwayNotice":
    console.log("Server going away. Time left:", message.timeLeft);
    break;
  }
}

Dart

Future _handleLiveServerMessage(LiveServerResponse response) async {
  final message = response.message;
  if (message is GoingAwayNotice) {
     // Prepare for the session to close soon
     developer.log('Server going away. Time left: ${message.timeLeft}');
  }
}

Einheit

foreach (var response in session.Responses) {
    if (response.Payload is LiveSessionGoingAway notice) {
        // Prepare for the session to close soon
        TimeSpan timeLeft = notice.TimeLeft;
        Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
    }
}

Sitzung fortsetzen

Der Live API unterstützt die Wiederaufnahme von Sitzungen, um den Verlust des Unterhaltungskontexts zu verhindern. Jede Sitzung hat ein Handle, das auf folgende Weise verwendet werden kann:

  • Sitzung aufrechterhalten, bevor das Zeitlimit für die Verbindung erreicht wird

    Die maximale Dauer einer einzelnen, kontinuierlichen WebSocket-Verbindung beträgt etwa 10 Minuten. Sie können erkennen, wann eine Verbindung beendet wird, indem Sie auf eine going away-Benachrichtigung warten und dann die Sitzung verlängern, indem Sie eine neue Verbindung mit dem Sitzungshandle herstellen.

  • Sitzung direkt nach einem Verbindungsabbruch fortsetzen

    Wenn eine Verbindung vor dem maximalen Verbindungslimit beendet oder unterbrochen wird (z. B. beim Wechsel von WLAN zu 5G), behält der Server den Sitzungsstatus etwa 10 Minuten lang bei. In diesem Zeitraum können Sie die Sitzung fortsetzen, indem Sie eine neue Verbindung mit dem Sitzungshandle herstellen.

  • Sitzung nach einem längeren Zeitraum fortsetzen

    Nachdem eine Verbindung beendet wurde, behält der Server den Sitzungsstatus einige Stunden lang bei. Während dieses Zeitfensters können Sie die Sitzung fortsetzen, indem Sie eine neue Verbindung mit dem Sitzungs-Handle herstellen. Beachten Sie, dass dieses Zeitfenster für die beiden Gemini API-Anbieter unterschiedlich ist: Gemini Developer API beträgt 2 Stunden | Agent Platform Gemini API (formerly Vertex AI) beträgt 24 Stunden.

Standardmäßig ist die Sitzungswiederaufnahme deaktiviert. Wenn Sie die Sitzungswiederaufnahme aktivieren möchten, übergeben Sie beim Herstellen einer neuen Verbindung eine leere Wiederaufnahmekonfiguration. Wenn diese Option aktiviert ist, sendet der Server regelmäßig Aktualisierungen, die ein Handle für die Wiederaufnahme der Sitzung enthalten. Wenn die Sitzung getrennt wird, können Sie die Verbindung wiederherstellen und dieses Handle übergeben, um die Sitzung mit intaktem Kontext fortzusetzen.

Die folgenden Beispiele zeigen zwei Optionen zum Fortsetzen der Sitzung:

Swift

// Local variable to save the active session handle
var activeSessionHandle: String?

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
  sessionResumption: SessionResumptionConfig()
)

// Start receiving responses
for try await message in session.responses {
  // Check for new session handles inside your message handling loop
  switch message.payload {
  case let .sessionResumptionUpdate(updateMessage):
    guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
      continue
    }
    activeSessionHandle = newHandle
    print("SessionResumptionUpdate: handle \(newHandle)")
  // ... handle other LiveServerMessage types ...
  default:
    break
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
  session = try await liveModel.connect(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
  try await session.resumeSession(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

Kotlin

// Local variable to save the active session handle
var activeSessionHandle: String? = null

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
    sessionResumption = SessionResumptionConfig()
)

// Start receiving responses
session.receive().collect { message ->
    // Process other received response types...

    // Check for new session handles inside your message handling loop
    if (message is LiveSessionResumptionUpdate) {
        if (message.resumable == true && message.newHandle != null) {
            activeSessionHandle = message.newHandle
            Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
        }
    }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
    session = liveModel.connect(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
    session.resumeSession(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

Java

For Java, session resumption is not yet supported. Check back soon!

Web

// Local variable to save the active session handle
let activeSessionHandle = null;

// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});

// Start receiving responses
for await (const message of session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (message.type === 'sessionResumptionUpdate') {
    if (message.resumable && message.newHandle) {
      activeSessionHandle = message.newHandle;
      console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
  session = await liveModel.connect({
    handle: activeSessionHandle
  });
}

// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
  await session.resumeSession({
    handle: activeSessionHandle
  });
}

Dart

// Local variable to save the active session handle
String? _activeSessionHandle;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
  sessionResumption: SessionResumptionConfig(),
);

// Start receiving responses
await for (final response in _session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  final message = response.message;
  if (message is SessionResumptionUpdate &&
      message.resumable != null &&
      message.resumable!) {
    _activeSessionHandle = message.newHandle;
    log('SessionResumptionUpdate: handle ${message.newHandle}');
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
  _session = await _liveModel.connect(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
  await _session.resumeSession(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

Einheit

// Local variable to save the active session handle
string activeSessionHandle = null;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
    sessionResumption: new SessionResumptionConfig()
);

// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (response.Message is LiveSessionResumptionUpdate updateMessage)
  {
    if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
    {
      activeSessionHandle = updateMessage.NewHandle;
      Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  session = await liveModel.ConnectAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}

// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  await session.ResumeSessionAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}