Zarządzanie sesjami w interfejsie Live API

Gemini Live API przetwarza ciągłe strumienie dźwięku lub tekstu, które nazywamy sesjami. Możesz zarządzać cyklem życia sesji, od początkowego uzgadniania połączenia do prawidłowego zakończenia.

Limity sesji

W przypadku Live API sesja odnosi się do stałego połączenia, w którym dane wejściowe i wyjściowe są przesyłane strumieniowo w sposób ciągły.

Jeśli sesja przekroczy dowolny z tych limitów, połączenie zostanie zakończone. Pamiętaj jednak, że Live API udostępnia pewne opcje (patrz poniżej), które pozwalają zarządzać tymi limitami związanymi z sesjami.

  • Okno kontekstu sesji jest ograniczone do 128 tys. tokenów.

    Ze względu na ten limit okna kontekstu poniżej podajemy przybliżone maksymalne długości sesji w zależności od rodzaju danych wejściowych:

    • Sesje z danymi wejściowymi tylko w formie dźwięku są ograniczone do 15 minut.
    • Dane wejściowe wideo i audio są ograniczone do 2 minut.
  • Czas połączenia jest ograniczony do około 10 minut.

    Około 60 sekund przed zakończeniem połączenia otrzymasz powiadomienie o opuszczeniu.

Oto kilka opcji obsługi limitów związanych z sesjami:

  • Skompresuj okno kontekstu sesji, aby serwer automatycznie utrzymywał rozmiar kontekstu w ramach limitu.

  • Wznawianie sesji, aby zapobiec utracie kontekstu rozmowy podczas krótkich przerw w połączeniu z siecią lub po otrzymaniu powiadomienia going away.

Rozpoczynanie sesji

Aby zobaczyć pełny fragment kodu pokazujący, jak rozpocząć sesję, zapoznaj się z przewodnikiem dla początkujących dotyczącym Live API.

Aktualizacja w trakcie sesji

Modele Live API obsługują te zaawansowane funkcje aktualizacji w trakcie sesji:

Dodawanie przyrostowych aktualizacji treści

Aktualizacje przyrostowe możesz dodawać podczas aktywnej sesji. Użyj tej opcji, aby wysłać tekst, ustanowić kontekst sesji lub przywrócić kontekst sesji.

  • W przypadku dłuższych kontekstów zalecamy podanie podsumowania pojedynczej wiadomości, aby zwolnić okno kontekstu na potrzeby kolejnych interakcji.

  • W przypadku krótkich kontekstów możesz wysyłać interakcje krok po kroku, aby przedstawić dokładną sekwencję zdarzeń, jak we fragmencie poniżej.

Swift

// Define initial turns (history/context).
let turns: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
  ModelContent(role: "model", parts: [TextPart("Paris")]),
]

// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)

// Define the new user query.
let newTurn: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)

Kotlin

// Define initial turns (history/context).
val turns = listOf(
  content("user") {
    text("What is the capital of France?")
  },
  content("model") {
    text("Paris")
  }
)

// Send history, keeping the conversational turn OPEN (false).
turns.forEach {
  session.send(
    content = it,
    turnComplete = false
  )
}

// Define the new user query.
val newTurn = content("user") {
  text("What is the capital of Germany?")
}

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  content = newTurn,
  turnComplete = true
)

Java

// Define initial turns (history/context).
List turns =
    Arrays.asList(
        new Content.Builder().setRole("user").addText("What is the capital of France?").build(),
        new Content.Builder().setRole("model").addText("Paris").build());

for (Content turn : turns) {
  session.send(
    turn,
    false // turnComplete: false
  );
}

// Define the new user query.
Content newTurn = new Content.Builder().addText("What is the capital of Germany?").build();

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  newTurn,
  true // isTurnComplete: true
);

Web

const turns = [{ type: "text", text: "Hello from the user!" }];

await session.send(
  turns,
  false // turnComplete: false
);

console.log("Sent history. Waiting for next input...");

// Define the new user query.
const newTurn = [{ type: "text", text: "And what is the capital of Germany?" }];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
    newTurn,
    true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");

Dart

// Define initial turns (history/context).
final List turns = [
  Content(
    "user",
    [TextPart("What is the capital of France?")],
  ),
  Content(
    "model",
    [TextPart("Paris")],
  ),
];

// Send history, keeping the conversational turn OPEN (false).
await session.send(
  input: turns,
  turnComplete: false,
);

// Define the new user query.
final List newTurn = [
  Content(
    "user",
    [TextPart("What is the capital of Germany?")],
  ),
];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
  input: newTurn,
  turnComplete: true,
);

Unity

// Define initial turns (history/context).
List turns = new List {
    new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
    new ModelContent("model", new ModelContent.TextPart("Paris") ),
};

// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
    await session.SendAsync(
        content: turn,
        turnComplete: false
    );
}

// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
    content: newTurn,
    turnComplete: true
);

Aktualizowanie instrukcji systemowych w trakcie sesji

Dostępne tylko wtedy, gdy dostawcą interfejsu API jest Agent Platform Gemini API (formerly Vertex AI).

Instrukcje systemowe możesz aktualizować podczas aktywnej sesji. Użyj tej opcji, aby dostosować odpowiedzi modelu, na przykład zmienić język odpowiedzi lub zmodyfikować ton.

Aby zaktualizować instrukcje systemowe w trakcie sesji, możesz wysłać treść tekstową z rolą system. Zaktualizowane instrukcje systemowe będą obowiązywać przez pozostałą część sesji.

Swift

await session.sendContent(
  [ModelContent(
    role: "system",
    parts: [TextPart("new system instruction")]
  )],
  turnComplete: false
)

Kotlin

// In a coroutine scope
session.send(
    content = content("system") {
        text("new system instruction")
    },
    turnComplete = false
)

Java

session.send(
    new Content.Builder()
        .setRole("system")
        .addText("new system instruction")
        .build(),
    /* turnComplete: */ false
);

Web

Not yet supported for Web apps - check back soon!

Dart

try {
  await _session.send(
    input: Content(
      'system',
      [TextPart('new system instruction')],
    ),
    turnComplete: false,
  );
} catch (e) {
  print('Failed to update system instructions: $e');
}

Unity

try
{
    await session.SendAsync(
        content: new ModelContent(
            "system",
            new ModelContent.TextPart("new system instruction")
        ),
        turnComplete: false
    );
}
catch (Exception e)
{
    Debug.LogError($"Failed to update system instructions: {e.Message}");
}

Ręczne sygnalizowanie aktywności użytkownika

Domyślnie Live API automatycznie wykrywa początek i koniec mowy użytkownika za pomocą wykrywania aktywności głosowej (VAD), co pozwala przerwać model w dowolnym momencie (dowiedz się, jak obsługiwać przerwania).

Możesz jednak przejąć pełną ręczną kontrolę nad turami rozmowy (np. w przypadku interfejsu push-to-talk), wyłączając automatyczne wykrywanie aktywności głosowej (VAD).

Jeśli wyłączysz VAD, serwer nie będzie automatycznie wykrywać mowy użytkownika ani wyzwalać odpowiedzi na podstawie ciszy. W tym scenariuszu musisz ręcznie wyznaczyć granice każdej tury aktywności użytkownika.

Dowiedz się, jak wyłączyć automatyczne wykrywanie aktywności głosowej (VAD) i ręcznie sygnalizować aktywność użytkownika.

Kompresowanie okna kontekstu

Kliknij dostawcę Gemini API, aby wyświetlić na tej stronie treści i kod dotyczące tego dostawcy.

Okno kontekstu sesji Live API przechowuje dane przesyłane strumieniowo w czasie rzeczywistym (25 tokenów na sekundę w przypadku dźwięku i 258 tokenów na sekundę w przypadku obrazu) oraz inne treści, w tym dane wejściowe w formie tekstu i dane wyjściowe modelu. Wszystkie modele Live API mają limit okna kontekstu sesji wynoszący 128 tys. tokenów.

Domyślnie ze względu na ten limit okna kontekstu przybliżone maksymalne długości sesji w zależności od modalności wejściowych są następujące:

  • Sesje z danymi wejściowymi tylko w formie dźwięku są ograniczone do 15 minut.
  • Dane wejściowe wideo i audio są ograniczone do 2 minut.

W długich sesjach w miarę postępu rozmowy gromadzi się historia tokenów audio lub wideo. Jeśli ta historia przekroczy limit modelu, może on zacząć halucynować, działać wolniej lub sesja może zostać wymuszenie zakończona.

Aby umożliwić dłuższe sesje, możesz włączyć kompresję okna kontekstu, ustawiając pole contextWindowCompression w ramach LiveGenerationConfig. Gdy ta opcja jest włączona, serwer używa mechanizmu przesuwnego okna, aby automatycznie odrzucać najstarsze tury lub je podsumowywać w celu utrzymania rozmiaru kontekstu w domyślnych lub określonych limitach. Instrukcje systemowe nie są odrzucane i zawsze pozostają na początku okna kontekstu.

Z perspektywy użytkownika pozwala to na teoretycznie nieskończony czas trwania sesji, ponieważ „pamięć” jest stale zarządzana.

Możesz skonfigurować mechanizm okna przesuwnego, a także opcjonalnie liczbę tokenów, która aktywuje kompresję (dostępne ustawienia i wartości znajdziesz poniżej). Oto kilka ogólnych kwestii dotyczących korzystania z tych ustawień:

  • Ustawienie bardzo niskiej wartości targetTokens zwolni więcej miejsca na kontekst w przypadku ciągłych strumieni, ale model będzie szybko „zapominać” starsze tury rozmowy.

  • Ustawienie wartości targetTokens bliżej triggerTokens pozwala zachować więcej pamięci, ale powoduje znacznie częstsze uruchamianie procedur kompresji.

Ustawienie Domyślna wartość dla okna przesuwnego, jeśli nie została ustawiona w konfiguracji Wartość minimalna Wartość maksymalna
triggerTokens
długość kontekstu przed aktywowaniem kompresji
80% limitu okna kontekstu modelu. 5000 128 000
targetTokens
docelowa liczba tokenów do zachowania
50% wartości triggerTokens
  • Jeśli właściwość triggerTokens nie jest ustawiona bezpośrednio, targetTokens domyślnie przyjmuje 50% domyślnej wartości triggerTokens.
  • Wartość targetTokens musi być mniejsza niż wartość triggerTokens.
0 128 000

Swift


// ...

let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(
        targetTokens: 2000,
      )
    )
  )
)

Kotlin


// ...

val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO,
        contextWindowCompression = ContextWindowCompressionConfig(
            triggerTokens = 10000,
            slidingWindow = SlidingWindow(targetTokens = 2000)
        )
    }
)

Java


// ...

LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "GEMINI_LIVE_API_MODEL_NAME",
        // Enable context window compression.
        // (Optional) Configure the number of tokens in the context window that triggers the compression.
        new LiveGenerationConfig.Builder()
                .setResponseModality(ResponseModality.AUDIO)
                .setContextWindowCompression(
                        new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
                )
                .build()
);

Web


// ...

const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

const liveModel = getLiveGenerativeModel(ai, {
  model: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
    contextWindowCompression: {
      triggerTokens: 10000,
      slidingWindow: {
        targetTokens: 2000,
      },
    },
  },
});

Dart


// ...

final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'GEMINI_LIVE_API_MODEL_NAME',
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: [ResponseModalities.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(targetTokens: 2000),
    ),
  ),
);

Unity


// ...

var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Audio },
        contextWindowCompression: new ContextWindowCompressionConfig(
            triggerTokens: 10000,
            slidingWindow: new SlidingWindow(targetTokens: 2000)
        )
    )
);

Wykrywanie, kiedy sesja się zakończy

Maksymalny czas trwania pojedynczego, ciągłego połączenia WebSocket wynosi około 10 minut. Powiadomienie o zakończeniu jest wysyłane do klienta 60 sekund przed zakończeniem połączenia, co może pomóc w podjęciu dalszych działań (np. wznowieniu sesji).

W przykładzie poniżej pokazujemy, jak wykryć zbliżające się zakończenie połączenia przez nasłuchiwanie powiadomienia going away:

Swift

for try await response in session.responses {
  switch response.payload {

  case .goingAwayNotice(let goingAwayNotice):
    // Prepare for the session to close soon
    if let timeLeft = goingAwayNotice.timeLeft {
        print("Server going away in \(timeLeft) seconds")
    }
  }
}

Kotlin

for (response in session.responses) {
    when (val message = response.payload) {
        is LiveServerGoAway -> {
            // Prepare for the session to close soon
            val remaining = message.timeLeft
            logger.info("Server going away in $remaining")
        }
    }
}

Java

session.getResponses().forEach(response -> {
    if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
        LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
        // Prepare for the session to close soon
        Duration timeLeft = notice.getTimeLeft();
    }
});

Web

for await (const message of session.receive()) {
  switch (message.type) {

  ...
  case "goingAwayNotice":
    console.log("Server going away. Time left:", message.timeLeft);
    break;
  }
}

Dart

Future _handleLiveServerMessage(LiveServerResponse response) async {
  final message = response.message;
  if (message is GoingAwayNotice) {
     // Prepare for the session to close soon
     developer.log('Server going away. Time left: ${message.timeLeft}');
  }
}

Unity

foreach (var response in session.Responses) {
    if (response.Payload is LiveSessionGoingAway notice) {
        // Prepare for the session to close soon
        TimeSpan timeLeft = notice.TimeLeft;
        Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
    }
}

Wznawianie sesji

Live API obsługuje wznawianie sesji, aby zapobiec utracie kontekstu rozmowy. Każda sesja ma uchwyt, którego można używać w następujący sposób:

  • Utrzymywanie sesji przed osiągnięciem limitu czasu połączenia

    Maksymalny czas trwania pojedynczego, ciągłego połączenia WebSocket wynosi około 10 minut. Możesz wykryć, kiedy połączenie ma się zakończyć, nasłuchując powiadomienia going away, a następnie przedłużyć sesję, nawiązując nowe połączenie za pomocą uchwytu sesji.

  • Wznawianie sesji tuż po utracie połączenia

    Jeśli połączenie zostanie przerwane lub utracone przed upływem maksymalnego limitu czasu połączenia (np. podczas przełączania z Wi-Fi na 5G), serwer zachowa stan sesji przez około 10 minut. W tym czasie możesz wznowić sesję, nawiązując nowe połączenie za pomocą uchwytu sesji.

  • Wznawianie sesji po dłuższym czasie

    Po zakończeniu połączenia serwer zachowuje stan sesji przez kilka godzin. W tym czasie możesz wznowić sesję, nawiązując nowe połączenie za pomocą uchwytu sesji. Pamiętaj, że ten okres jest inny dla 2 dostawców Gemini API: Gemini Developer API – 2 godziny | Agent Platform Gemini API (formerly Vertex AI) – 24 godziny.

Domyślnie wznawianie sesji jest wyłączone. Aby włączyć wznawianie sesji, podczas nawiązywania nowego połączenia przekaż pustą konfigurację wznawiania. Gdy ta opcja jest włączona, serwer okresowo wysyła aktualizacje zawierające uchwyt wznowienia sesji. Jeśli sesja zostanie rozłączona, możesz połączyć się ponownie i przekazać ten uchwyt, aby wznowić sesję z zachowaniem jej kontekstu.

Poniższe przykłady pokazują 2 opcje wznawiania sesji:

Swift

// Local variable to save the active session handle
var activeSessionHandle: String?

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
  sessionResumption: SessionResumptionConfig()
)

// Start receiving responses
for try await message in session.responses {
  // Check for new session handles inside your message handling loop
  switch message.payload {
  case let .sessionResumptionUpdate(updateMessage):
    guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
      continue
    }
    activeSessionHandle = newHandle
    print("SessionResumptionUpdate: handle \(newHandle)")
  // ... handle other LiveServerMessage types ...
  default:
    break
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
  session = try await liveModel.connect(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
  try await session.resumeSession(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

Kotlin

// Local variable to save the active session handle
var activeSessionHandle: String? = null

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
    sessionResumption = SessionResumptionConfig()
)

// Start receiving responses
session.receive().collect { message ->
    // Process other received response types...

    // Check for new session handles inside your message handling loop
    if (message is LiveSessionResumptionUpdate) {
        if (message.resumable == true && message.newHandle != null) {
            activeSessionHandle = message.newHandle
            Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
        }
    }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
    session = liveModel.connect(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
    session.resumeSession(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

Java

For Java, session resumption is not yet supported. Check back soon!

Web

// Local variable to save the active session handle
let activeSessionHandle = null;

// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});

// Start receiving responses
for await (const message of session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (message.type === 'sessionResumptionUpdate') {
    if (message.resumable && message.newHandle) {
      activeSessionHandle = message.newHandle;
      console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
  session = await liveModel.connect({
    handle: activeSessionHandle
  });
}

// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
  await session.resumeSession({
    handle: activeSessionHandle
  });
}

Dart

// Local variable to save the active session handle
String? _activeSessionHandle;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
  sessionResumption: SessionResumptionConfig(),
);

// Start receiving responses
await for (final response in _session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  final message = response.message;
  if (message is SessionResumptionUpdate &&
      message.resumable != null &&
      message.resumable!) {
    _activeSessionHandle = message.newHandle;
    log('SessionResumptionUpdate: handle ${message.newHandle}');
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
  _session = await _liveModel.connect(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
  await _session.resumeSession(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

Unity

// Local variable to save the active session handle
string activeSessionHandle = null;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
    sessionResumption: new SessionResumptionConfig()
);

// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (response.Message is LiveSessionResumptionUpdate updateMessage)
  {
    if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
    {
      activeSessionHandle = updateMessage.NewHandle;
      Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  session = await liveModel.ConnectAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}

// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  await session.ResumeSessionAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}