Administra sesiones para la API de Live

Gemini Live API procesa transmisiones continuas de audio o texto llamadas sesiones. Puedes administrar el ciclo de vida de la sesión, desde el protocolo de enlace inicial hasta la finalización correcta.

Límites de sesiones

Para la Live API, una sesión se refiere a una conexión persistente en la que la entrada y la salida se transmiten de forma continua a través de una conexión.

Si la sesión supera cualquiera de los siguientes límites, se finaliza la conexión. Sin embargo, ten en cuenta que Live API proporciona algunas opciones (consulta más abajo) para controlar estos límites relacionados con las sesiones.

  • La ventana de contexto de la sesión está limitada a 128,000 tokens.

    Debido a este límite de la ventana de contexto, estas son las duraciones máximas aproximadas de las sesiones según las modalidades de entrada:

    • Las sesiones de entrada solo de audio están limitadas a 15 minutos.
    • La entrada de video y audio está limitada a 2 minutos.
  • La duración de la conexión se limita a unos 10 minutos.

    Recibirás una notificación de desconexión aproximadamente 60 segundos antes de que finalice la conexión.

Estas son algunas opciones para controlar los límites relacionados con las sesiones:

Inicia una sesión

Visita la guía de introducción para Live API y obtén un fragmento completo que muestra cómo iniciar una sesión.

Actualización a mitad de la sesión

Los modelos Live API admiten las siguientes funciones avanzadas para las actualizaciones a mitad de la sesión:

Agrega actualizaciones de contenido incrementales

Puedes agregar actualizaciones incrementales durante una sesión activa. Úsala para enviar entradas de texto, establecer el contexto de la sesión o restablecerlo.

  • En el caso de contextos más largos, te recomendamos que proporciones un resumen de un solo mensaje para liberar la ventana de contexto para las interacciones posteriores.

  • Para contextos cortos, puedes enviar interacciones paso a paso para representar la secuencia exacta de eventos, como el siguiente fragmento.

Swift

// Define initial turns (history/context).
let turns: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
  ModelContent(role: "model", parts: [TextPart("Paris")]),
]

// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)

// Define the new user query.
let newTurn: [ModelContent] = [
  ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)

Kotlin

// Define initial turns (history/context).
val turns = listOf(
  content("user") {
    text("What is the capital of France?")
  },
  content("model") {
    text("Paris")
  }
)

// Send history, keeping the conversational turn OPEN (false).
turns.forEach {
  session.send(
    content = it,
    turnComplete = false
  )
}

// Define the new user query.
val newTurn = content("user") {
  text("What is the capital of Germany?")
}

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  content = newTurn,
  turnComplete = true
)

Java

// Define initial turns (history/context).
List turns =
    Arrays.asList(
        new Content.Builder().setRole("user").addText("What is the capital of France?").build(),
        new Content.Builder().setRole("model").addText("Paris").build());

for (Content turn : turns) {
  session.send(
    turn,
    false // turnComplete: false
  );
}

// Define the new user query.
Content newTurn = new Content.Builder().addText("What is the capital of Germany?").build();

// Send the final query, CLOSING the turn (true) to trigger the model response.
session.send(
  newTurn,
  true // isTurnComplete: true
);

Web

const turns = [{ type: "text", text: "Hello from the user!" }];

await session.send(
  turns,
  false // turnComplete: false
);

console.log("Sent history. Waiting for next input...");

// Define the new user query.
const newTurn = [{ type: "text", text: "And what is the capital of Germany?" }];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
    newTurn,
    true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");

Dart

// Define initial turns (history/context).
final List turns = [
  Content(
    "user",
    [TextPart("What is the capital of France?")],
  ),
  Content(
    "model",
    [TextPart("Paris")],
  ),
];

// Send history, keeping the conversational turn OPEN (false).
await session.send(
  input: turns,
  turnComplete: false,
);

// Define the new user query.
final List newTurn = [
  Content(
    "user",
    [TextPart("What is the capital of Germany?")],
  ),
];

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
  input: newTurn,
  turnComplete: true,
);

Unity

// Define initial turns (history/context).
List turns = new List {
    new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
    new ModelContent("model", new ModelContent.TextPart("Paris") ),
};

// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
    await session.SendAsync(
        content: turn,
        turnComplete: false
    );
}

// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");

// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
    content: newTurn,
    turnComplete: true
);

Actualiza las instrucciones del sistema a mitad de la sesión

Solo está disponible cuando usas Agent Platform Gemini API (formerly Vertex AI) como tu proveedor de API.

Puedes actualizar las instrucciones del sistema durante una sesión activa. Usa esto para adaptar las respuestas del modelo, por ejemplo, para cambiar el idioma de la respuesta o modificar el tono.

Para actualizar las instrucciones del sistema a mitad de la sesión, puedes enviar contenido de texto con el rol system. Las instrucciones del sistema actualizadas permanecerán vigentes durante el resto de la sesión.

Swift

await session.sendContent(
  [ModelContent(
    role: "system",
    parts: [TextPart("new system instruction")]
  )],
  turnComplete: false
)

Kotlin

// In a coroutine scope
session.send(
    content = content("system") {
        text("new system instruction")
    },
    turnComplete = false
)

Java

session.send(
    new Content.Builder()
        .setRole("system")
        .addText("new system instruction")
        .build(),
    /* turnComplete: */ false
);

Web

Not yet supported for Web apps - check back soon!

Dart

try {
  await _session.send(
    input: Content(
      'system',
      [TextPart('new system instruction')],
    ),
    turnComplete: false,
  );
} catch (e) {
  print('Failed to update system instructions: $e');
}

Unity

try
{
    await session.SendAsync(
        content: new ModelContent(
            "system",
            new ModelContent.TextPart("new system instruction")
        ),
        turnComplete: false
    );
}
catch (Exception e)
{
    Debug.LogError($"Failed to update system instructions: {e.Message}");
}

Cómo indicar manualmente la actividad del usuario

De forma predeterminada, el Live API detecta automáticamente el principio y el final de la voz del usuario con la detección de actividad de voz (VAD), lo que te permite interrumpir el modelo en cualquier momento (obtén información para controlar las interrupciones).

Sin embargo, puedes tomar el control manual completo de los turnos de conversación (como en una interfaz de pulsar para hablar) inhabilitando la detección automática de actividad de voz (VAD).

Si inhabilitas la VAD, el servidor no detectará automáticamente el discurso del usuario ni activará respuestas basadas en el silencio del audio. En este caso, debes delimitar manualmente los límites de cada turno de actividad del usuario.

Obtén más información para inhabilitar la detección automática de actividad de voz (VAD) y señalar manualmente la actividad del usuario.

Comprime la ventana de contexto

Haz clic en tu proveedor de Gemini API para ver el contenido y el código específicos del proveedor en esta página.

La ventana de contexto de la sesión de Live API almacena datos transmitidos en tiempo real (25 tokens por segundo [TPS] para audio y 258 TPS para video), así como otro contenido, incluidas las entradas de texto y los resultados del modelo. Todos los modelos de Live API tienen un límite de ventana de contexto de sesión de 128,000 tokens.

De forma predeterminada, debido a este límite de la ventana de contexto, estas son las duraciones máximas aproximadas de las sesiones según las modalidades de entrada:

  • Las sesiones de entrada solo de audio están limitadas a 15 minutos.
  • La entrada de video y audio está limitada a 2 minutos.

En las sesiones de larga duración, a medida que avanza la conversación, se acumula el historial de tokens de audio o video. Si este historial supera el límite del modelo, es posible que el modelo alucine, se ralentice o que la sesión se finalice de forma forzosa.

Para habilitar sesiones más largas, puedes habilitar la compresión de la ventana de contexto configurando el campo contextWindowCompression como parte de LiveGenerationConfig. Cuando está habilitado, el servidor usa un mecanismo de ventana deslizante para descartar automáticamente los turnos más antiguos o resumirlos para mantener el tamaño del contexto dentro de los límites predeterminados o especificados. Las instrucciones del sistema no se descartan y siempre permanecerán al principio de la ventana de contexto.

Desde la perspectiva del usuario, esto permite duraciones de sesión teóricamente infinitas, ya que la "memoria" se administra de forma constante.

Puedes configurar el mecanismo de ventana deslizante y, de forma opcional, la cantidad de tokens que activa la compresión (consulta los parámetros de configuración y los valores disponibles a continuación). A continuación, se presentan algunas consideraciones generales sobre el uso de estos parámetros de configuración:

  • Si configuras targetTokens en un valor muy bajo, se liberará más espacio de contexto para las transmisiones continuas, pero el modelo "olvidará" rápidamente los turnos más antiguos de la conversación.

  • Si configuras targetTokens más cerca de triggerTokens, se preservará más memoria, pero se activarán las rutinas de compresión con mucha más frecuencia.

Configuración Es el valor predeterminado para la ventana deslizante si no se establece en la configuración. Valor mínimo Valor máximo
triggerTokens
la longitud de contexto antes de que se active la compresión
80% del límite de la ventana de contexto del modelo 5,000 128,000
targetTokens
la cantidad objetivo de tokens que se deben conservar
50% del valor de triggerTokens
  • Si triggerTokens no se establece de forma explícita, targetTokens se establece de forma predeterminada en el 50% del valor predeterminado de triggerTokens.
  • El valor de targetTokens debe ser menor que el de triggerTokens.
0 128,000

Swift


// ...

let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(
        targetTokens: 2000,
      )
    )
  )
)

Kotlin


// ...

val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO,
        contextWindowCompression = ContextWindowCompressionConfig(
            triggerTokens = 10000,
            slidingWindow = SlidingWindow(targetTokens = 2000)
        )
    }
)

Java


// ...

LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "GEMINI_LIVE_API_MODEL_NAME",
        // Enable context window compression.
        // (Optional) Configure the number of tokens in the context window that triggers the compression.
        new LiveGenerationConfig.Builder()
                .setResponseModality(ResponseModality.AUDIO)
                .setContextWindowCompression(
                        new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
                )
                .build()
);

Web


// ...

const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

const liveModel = getLiveGenerativeModel(ai, {
  model: "GEMINI_LIVE_API_MODEL_NAME",
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
    contextWindowCompression: {
      triggerTokens: 10000,
      slidingWindow: {
        targetTokens: 2000,
      },
    },
  },
});

Dart


// ...

final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'GEMINI_LIVE_API_MODEL_NAME',
  // Enable context window compression.
  // (Optional) Configure the number of tokens in the context window that triggers the compression.
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: [ResponseModalities.audio],
    contextWindowCompression: ContextWindowCompressionConfig(
      triggerTokens: 10000,
      slidingWindow: SlidingWindow(targetTokens: 2000),
    ),
  ),
);

Unity


// ...

var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "GEMINI_LIVE_API_MODEL_NAME",
    // Enable context window compression.
    // (Optional) Configure the number of tokens in the context window that triggers the compression.
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Audio },
        contextWindowCompression: new ContextWindowCompressionConfig(
            triggerTokens: 10000,
            slidingWindow: new SlidingWindow(targetTokens: 2000)
        )
    )
);

Detecta cuándo finalizará una sesión

La duración máxima de una sola conexión de WebSocket continua es de alrededor de 10 minutos. Se envía una notificación de salida al cliente 60 segundos antes de que finalice la conexión, lo que puede ayudarte a realizar más acciones (por ejemplo, reanudar una sesión).

En el siguiente ejemplo, se muestra cómo detectar una finalización de conexión inminente escuchando una notificación de going away:

Swift

for try await response in session.responses {
  switch response.payload {

  case .goingAwayNotice(let goingAwayNotice):
    // Prepare for the session to close soon
    if let timeLeft = goingAwayNotice.timeLeft {
        print("Server going away in \(timeLeft) seconds")
    }
  }
}

Kotlin

for (response in session.responses) {
    when (val message = response.payload) {
        is LiveServerGoAway -> {
            // Prepare for the session to close soon
            val remaining = message.timeLeft
            logger.info("Server going away in $remaining")
        }
    }
}

Java

session.getResponses().forEach(response -> {
    if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
        LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
        // Prepare for the session to close soon
        Duration timeLeft = notice.getTimeLeft();
    }
});

Web

for await (const message of session.receive()) {
  switch (message.type) {

  ...
  case "goingAwayNotice":
    console.log("Server going away. Time left:", message.timeLeft);
    break;
  }
}

Dart

Future _handleLiveServerMessage(LiveServerResponse response) async {
  final message = response.message;
  if (message is GoingAwayNotice) {
     // Prepare for the session to close soon
     developer.log('Server going away. Time left: ${message.timeLeft}');
  }
}

Unity

foreach (var response in session.Responses) {
    if (response.Payload is LiveSessionGoingAway notice) {
        // Prepare for the session to close soon
        TimeSpan timeLeft = notice.TimeLeft;
        Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
    }
}

Reanuda una sesión

La Live API admite la reanudación de la sesión para evitar perder el contexto de la conversación. Cada sesión tiene un identificador, que se puede usar de las siguientes maneras:

  • Mantener una sesión antes de alcanzar el límite de tiempo de conexión

    La duración máxima de una sola conexión de WebSocket continua es de alrededor de 10 minutos. Puedes detectar cuándo está por finalizar una conexión si escuchas una notificación de desconexión y, luego, extiendes la sesión estableciendo una conexión nueva con el identificador de sesión.

  • Reanuda una sesión justo después de una interrupción de la conexión

    Si una conexión finaliza o se interrumpe antes del límite de tiempo máximo de conexión (por ejemplo, cuando se cambia de Wi-Fi a 5G), el servidor mantiene el estado de la sesión durante aproximadamente 10 minutos. Durante este período, puedes reanudar la sesión estableciendo una conexión nueva con el identificador de sesión.

  • Reanuda una sesión después de un período prolongado

    Una vez que finaliza una conexión, el servidor conserva el estado de la sesión durante algunas horas. Durante este período, puedes reanudar la sesión estableciendo una nueva conexión con el identificador de sesión. Ten en cuenta que esta ventana es diferente para los dos proveedores de Gemini API: Gemini Developer API es de 2 horas | Agent Platform Gemini API (formerly Vertex AI) es de 24 horas.

De forma predeterminada, la reanudación de la sesión está inhabilitada. Para habilitar la reanudación de la sesión, pasa una configuración de reanudación vacía cuando establezcas una conexión nueva. Cuando está habilitado, el servidor envía actualizaciones de forma periódica que contienen un identificador de reanudación de sesión. Si se desconecta la sesión, puedes volver a conectarte y pasar este controlador para reanudar la sesión con su contexto intacto.

En los siguientes ejemplos, se muestran dos opciones para reanudar la sesión:

Swift

// Local variable to save the active session handle
var activeSessionHandle: String?

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
  sessionResumption: SessionResumptionConfig()
)

// Start receiving responses
for try await message in session.responses {
  // Check for new session handles inside your message handling loop
  switch message.payload {
  case let .sessionResumptionUpdate(updateMessage):
    guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
      continue
    }
    activeSessionHandle = newHandle
    print("SessionResumptionUpdate: handle \(newHandle)")
  // ... handle other LiveServerMessage types ...
  default:
    break
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
  session = try await liveModel.connect(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
  try await session.resumeSession(
    sessionResumption: SessionResumptionConfig(handle: handle)
  )
}

Kotlin

// Local variable to save the active session handle
var activeSessionHandle: String? = null

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
    sessionResumption = SessionResumptionConfig()
)

// Start receiving responses
session.receive().collect { message ->
    // Process other received response types...

    // Check for new session handles inside your message handling loop
    if (message is LiveSessionResumptionUpdate) {
        if (message.resumable == true && message.newHandle != null) {
            activeSessionHandle = message.newHandle
            Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
        }
    }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
    session = liveModel.connect(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
    session.resumeSession(
        sessionResumption = SessionResumptionConfig(handle = handle)
    )
}

Java

For Java, session resumption is not yet supported. Check back soon!

Web

// Local variable to save the active session handle
let activeSessionHandle = null;

// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});

// Start receiving responses
for await (const message of session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (message.type === 'sessionResumptionUpdate') {
    if (message.resumable && message.newHandle) {
      activeSessionHandle = message.newHandle;
      console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
  session = await liveModel.connect({
    handle: activeSessionHandle
  });
}

// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
  await session.resumeSession({
    handle: activeSessionHandle
  });
}

Dart

// Local variable to save the active session handle
String? _activeSessionHandle;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
  sessionResumption: SessionResumptionConfig(),
);

// Start receiving responses
await for (final response in _session.receive()) {
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  final message = response.message;
  if (message is SessionResumptionUpdate &&
      message.resumable != null &&
      message.resumable!) {
    _activeSessionHandle = message.newHandle;
    log('SessionResumptionUpdate: handle ${message.newHandle}');
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
  _session = await _liveModel.connect(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
  await _session.resumeSession(
    sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
  );
}

Unity

// Local variable to save the active session handle
string activeSessionHandle = null;

// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
    sessionResumption: new SessionResumptionConfig()
);

// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
  // Process other received response types...

  // Check for new session handles inside your message handling loop
  if (response.Message is LiveSessionResumptionUpdate updateMessage)
  {
    if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
    {
      activeSessionHandle = updateMessage.NewHandle;
      Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
    }
  }
}

// The following are alternative options to resume a session. Choose only one.

// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  session = await liveModel.ConnectAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}

// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
  await session.ResumeSessionAsync(
      sessionResumption: new SessionResumptionConfig(activeSessionHandle)
  );
}