Gemini Live API memproses aliran audio atau teks berkelanjutan yang disebut sesi. Anda dapat mengelola siklus proses sesi, mulai dari handshake awal hingga penghentian yang lancar.
Batas untuk sesi
Untuk Live API, sebuah sesi mengacu pada koneksi persisten tempat input dan output di-streaming secara berkelanjutan melalui koneksi.
Jika sesi melebihi salah satu batas berikut, koneksi akan dihentikan. Namun, perhatikan bahwa Live API menyediakan beberapa opsi (lihat di bawah) untuk menangani batas terkait sesi ini.
Jendela konteks sesi dibatasi hingga 128 ribu token.
Karena batas jendela konteks ini, berikut perkiraan durasi sesi maksimum berdasarkan modalitas input:
- Sesi input khusus audio dibatasi hingga
15 menit . - Input video + audio dibatasi hingga
2 menit .
- Sesi input khusus audio dibatasi hingga
Durasi koneksi dibatasi hingga sekitar
10 menit .Anda akan menerima notifikasi going away sekitar
60 detik sebelum koneksi berakhir.
Berikut beberapa opsi untuk menangani batas terkait sesi:
Kompres jendela konteks sesi sehingga server secara otomatis mempertahankan ukuran konteks dalam batas.
Lanjutkan sesi untuk mencegah hilangnya konteks percakapan selama koneksi jaringan singkat terputus atau setelah menerima notifikasi going away.
Memulai sesi
Lihat panduan memulai untuk Live API untuk mengetahui cuplikan lengkap yang menunjukkan cara memulai sesi.
Memperbarui di tengah sesi
Model Live API mendukung kemampuan lanjutan berikut untuk pembaruan di tengah sesi:
Memperbarui petunjuk sistem (untuk Vertex AI Gemini API saja)
Menambahkan pembaruan konten inkremental
Anda dapat menambahkan pembaruan inkremental selama sesi aktif. Gunakan fitur ini untuk mengirim input teks, menetapkan konteks sesi, atau memulihkan konteks sesi.
Untuk konteks yang lebih panjang, sebaiknya berikan ringkasan pesan tunggal untuk mengosongkan jendela konteks untuk interaksi berikutnya.
Untuk konteks singkat, Anda dapat mengirim interaksi langkah demi langkah untuk merepresentasikan urutan peristiwa yang tepat, seperti cuplikan di bawah.
Swift
// Define initial turns (history/context).
let turns: [ModelContent] = [
ModelContent(role: "user", parts: [TextPart("What is the capital of France?")]),
ModelContent(role: "model", parts: [TextPart("Paris")]),
]
// Send history, keeping the conversational turn OPEN (false).
await session.sendContent(turns, turnComplete: false)
// Define the new user query.
let newTurn: [ModelContent] = [
ModelContent(role: "user", parts: [TextPart("What is the capital of Germany?")]),
]
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.sendContent(newTurn, turnComplete: true)
Kotlin
Not yet supported for Android apps - check back soon!
Java
Not yet supported for Android apps - check back soon!
Web
const turns = [{ text: "Hello from the user!" }];
await session.send(
turns,
false // turnComplete: false
);
console.log("Sent history. Waiting for next input...");
// Define the new user query.
const newTurn [{ text: "And what is the capital of Germany?" }];
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
newTurn,
true // turnComplete: true
);
console.log("Sent final query. Model response expected now.");
Dart
// Define initial turns (history/context).
final List turns = [
Content(
"user",
[Part.text("What is the capital of France?")],
),
Content(
"model",
[Part.text("Paris")],
),
];
// Send history, keeping the conversational turn OPEN (false).
await session.send(
input: turns,
turnComplete: false,
);
// Define the new user query.
final List newTurn = [
Content(
"user",
[Part.text("What is the capital of Germany?")],
),
];
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.send(
input: newTurn,
turnComplete: true,
);
Unity
// Define initial turns (history/context).
List turns = new List {
new ModelContent("user", new ModelContent.TextPart("What is the capital of France?") ),
new ModelContent("model", new ModelContent.TextPart("Paris") ),
};
// Send history, keeping the conversational turn OPEN (false).
foreach (ModelContent turn in turns)
{
await session.SendAsync(
content: turn,
turnComplete: false
);
}
// Define the new user query.
ModelContent newTurn = ModelContent.Text("What is the capital of Germany?");
// Send the final query, CLOSING the turn (true) to trigger the model response.
await session.SendAsync(
content: newTurn,
turnComplete: true
);
Memperbarui petunjuk sistem di tengah sesi
| Hanya tersedia saat menggunakan Vertex AI Gemini API sebagai penyedia API Anda. |
Anda dapat memperbarui petunjuk sistem selama sesi aktif. Gunakan fitur ini untuk menyesuaikan respons model, misalnya untuk mengubah bahasa respons atau mengubah nada.
Untuk memperbarui petunjuk sistem di tengah sesi, Anda dapat mengirim konten teks dengan peran system. Petunjuk sistem yang diperbarui akan tetap berlaku selama sisa sesi.
Swift
await session.sendContent(
[ModelContent(
role: "system",
parts: [TextPart("new system instruction")]
)],
turnComplete: false
)
Kotlin
Not yet supported for Android apps - check back soon!
Java
Not yet supported for Android apps - check back soon!
Web
Not yet supported for Web apps - check back soon!
Dart
try {
await _session.send(
input: Content(
'system',
[Part.text('new system instruction')],
),
turnComplete: false,
);
} catch (e) {
print('Failed to update system instructions: $e');
}
Unity
try
{
await session.SendAsync(
content: new ModelContent(
"system",
new ModelContent.TextPart("new system instruction")
),
turnComplete: false
);
}
catch (Exception e)
{
Debug.LogError($"Failed to update system instructions: {e.Message}");
}
Mengompres jendela konteks
|
Klik penyedia Gemini API untuk melihat konten khusus penyedia dan kode di halaman ini. |
Live API Jendela konteks sesi Live API menyimpan data streaming real-time (25 token per detik (TPS) untuk audio dan 258 TPS untuk video) serta konten lainnya, termasuk input teks dan output model. Semua Live API model memiliki batas jendela konteks sesi sebesar 128 ribu token.
Secara default, karena batas jendela konteks ini, berikut perkiraan durasi sesi maksimum berdasarkan modalitas input:
- Sesi input khusus audio dibatasi hingga
15 menit . - Input video + audio dibatasi hingga
2 menit .
Dalam sesi yang berjalan lama, seiring berjalannya percakapan, histori token audio dan/atau video akan terakumulasi. Jika histori ini melebihi batas model, model mungkin akan berhalusinasi, melambat, atau sesi dapat dihentikan secara paksa.
Untuk mengaktifkan sesi yang lebih lama, Anda dapat mengaktifkan kompresi jendela konteks dengan menetapkan kolom contextWindowCompression sebagai bagian dari LiveGenerationConfig. Jika diaktifkan, server akan menggunakan mekanisme jendela geser untuk otomatis menghapus giliran terlama atau meringkasnya untuk mempertahankan ukuran konteks dalam batas default atau yang ditentukan. Petunjuk sistem tidak akan dihapus dan akan selalu berada di awal jendela konteks.
Dari sudut pandang pengguna, hal ini memungkinkan durasi sesi yang secara teoretis tidak terbatas karena "memori" terus dikelola.
Anda dapat mengonfigurasi mekanisme jendela geser serta secara opsional jumlah token yang memicu kompresi: (lihat setelan dan nilai yang tersedia di bawah). Berikut beberapa pertimbangan tingkat tinggi tentang penggunaan setelan ini:
Menetapkan
targetTokenssangat rendah akan mengosongkan lebih banyak ruang konteks untuk aliran berkelanjutan, tetapi model akan dengan cepat "melupakan" giliran percakapan yang lebih lama.Menetapkan
targetTokenslebih dekat ketriggerTokensakan mempertahankan lebih banyak memori, tetapi akan memicu rutinitas kompresi jauh lebih sering.
| Setelan | Default untuk jendela geser jika tidak ditetapkan dalam konfigurasi | Nilai minimum | Nilai maksimum |
|---|---|---|---|
triggerTokenspanjang konteks sebelum kompresi dipicu |
80% dari batas jendela konteks model | 5.000 | 128.000 |
targetTokensjumlah token target yang akan disimpan |
50% dari nilai triggerTokens
|
0 | 128.000 |
Swift
// Initialize the Gemini Developer API backend service
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio],
contextWindowCompression: ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: SlidingWindow(
targetTokens: 2000,
)
)
)
)
Kotlin
// Initialize the Gemini Developer API backend service
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO,
contextWindowCompression = ContextWindowCompressionConfig(
triggerTokens = 10000,
slidingWindow = SlidingWindow(targetTokens = 2000)
)
}
)
Java
// Initialize the Gemini Developer API backend service
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.setContextWindowCompression(
new ContextWindowCompressionConfig(10000, new SlidingWindow(2000))
)
.build()
);
Web
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
contextWindowCompression: {
triggerTokens: 10000,
slidingWindow: {
targetTokens: 2000,
},
},
},
});
Dart
final _liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
contextWindowCompression: ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: SlidingWindow(targetTokens: 2000),
),
),
);
Unity
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Enable context window compression.
// (Optional) Configure the number of tokens in the context window that triggers the compression.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio },
contextWindowCompression: new ContextWindowCompressionConfig(
triggerTokens: 10000,
slidingWindow: new SlidingWindow(targetTokens: 2000)
)
)
);
Mendeteksi kapan sesi akan berakhir
Durasi maksimum satu koneksi WebSocket berkelanjutan adalah sekitar
Contoh berikut menunjukkan cara mendeteksi penghentian koneksi yang akan terjadi dengan memproses notifikasi going away:
Swift
for try await response in session.responses {
switch response.payload {
case .goingAwayNotice(let goingAwayNotice):
// Prepare for the session to close soon
if let timeLeft = goingAwayNotice.timeLeft {
print("Server going away in \(timeLeft) seconds")
}
}
}
Kotlin
for (response in session.responses) {
when (val message = response.payload) {
is LiveServerGoAway -> {
// Prepare for the session to close soon
val remaining = message.timeLeft
logger.info("Server going away in $remaining")
}
}
}
Java
session.getResponses().forEach(response -> {
if (response.getPayload() instanceof LiveServerResponse.GoingAwayNotice) {
LiveServerResponse.GoingAwayNotice notice = (LiveServerResponse.GoingAwayNotice) response.getPayload();
// Prepare for the session to close soon
Duration timeLeft = notice.getTimeLeft();
}
});
Web
for await (const message of session.receive()) {
switch (message.type) {
...
case "goingAwayNotice":
console.log("Server going away. Time left:", message.timeLeft);
break;
}
}
Dart
Future _handleLiveServerMessage(LiveServerResponse response) async {
final message = response.message;
if (message is GoingAwayNotice) {
// Prepare for the session to close soon
developer.log('Server going away. Time left: ${message.timeLeft}');
}
}
Unity
foreach (var response in session.Responses) {
if (response.Payload is LiveSessionGoingAway notice) {
// Prepare for the session to close soon
TimeSpan timeLeft = notice.TimeLeft;
Debug.Log($"Server going away notice received. Remaining: {timeLeft}");
}
}
Melanjutkan sesi
Live API mendukung kelanjutan sesi untuk mencegah hilangnya konteks percakapan. Setiap sesi memiliki handle, dan dapat digunakan dengan cara berikut:
Mempertahankan sesi sebelum mencapai batas waktu koneksi
Durasi maksimum satu koneksi WebSocket berkelanjutan adalah sekitar
10 menit . Anda dapat mendeteksi kapan koneksi akan berakhir dengan memproses notifikasi going away, lalu memperpanjang sesi dengan membuat koneksi baru menggunakan handle sesi.Melanjutkan sesi tepat setelah koneksi terputus
Jika koneksi dihentikan atau terputus sebelum batas waktu koneksi maksimum (misalnya, beralih dari WiFi ke 5G), server akan mempertahankan status sesi selama sekitar
10 menit . Selama periode ini, Anda dapat melanjutkan sesi dengan membuat koneksi baru menggunakan handle sesi.Melanjutkan sesi setelah periode waktu yang diperpanjang
Setelah koneksi berakhir, server akan mempertahankan status sesi selama beberapa jam. Selama periode ini, Anda dapat melanjutkan sesi dengan membuat koneksi baru menggunakan handle sesi. Perhatikan bahwa periode ini berbeda untuk dua penyedia Gemini API: Gemini Developer API adalah
2 jam | Vertex AI Gemini API adalah24 jam .
Secara default, kelanjutan sesi dinonaktifkan. Untuk mengaktifkan kelanjutan sesi, teruskan konfigurasi kelanjutan kosong saat membuat koneksi baru. Jika diaktifkan, server akan mengirim pembaruan secara berkala yang berisi handle kelanjutan sesi. Jika sesi terputus, Anda dapat terhubung kembali dan meneruskan handle ini untuk melanjutkan sesi dengan konteksnya yang utuh.
Contoh berikut menunjukkan dua opsi untuk melanjutkan sesi:
Swift
// Local variable to save the active session handle
var activeSessionHandle: String?
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = try await liveModel.connect(
sessionResumption: SessionResumptionConfig()
)
// Start receiving responses
for try await message in session.responses {
// Check for new session handles inside your message handling loop
switch message.payload {
case let .sessionResumptionUpdate(updateMessage):
guard let newHandle = updateMessage.newHandle, updateMessage.resumable else {
continue
}
activeSessionHandle = newHandle
print("SessionResumptionUpdate: handle \(newHandle)")
// ... handle other LiveServerMessage types ...
default:
break
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if let handle = activeSessionHandle {
session = try await liveModel.connect(
sessionResumption: SessionResumptionConfig(handle: handle)
)
}
// Option 2: Resume the session directly on an existing session object
if let handle = activeSessionHandle {
try await session.resumeSession(
sessionResumption: SessionResumptionConfig(handle: handle)
)
}
Kotlin
// Local variable to save the active session handle
var activeSessionHandle: String? = null
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = liveModel.connect(
sessionResumption = SessionResumptionConfig()
)
// Start receiving responses
session.receive().collect { message ->
// Process other received response types...
// Check for new session handles inside your message handling loop
if (message is LiveSessionResumptionUpdate) {
if (message.resumable == true && message.newHandle != null) {
activeSessionHandle = message.newHandle
Log.d("TAG", "SessionResumptionUpdate: handle ${message.newHandle}")
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
activeSessionHandle?.let { handle ->
session = liveModel.connect(
sessionResumption = SessionResumptionConfig(handle = handle)
)
}
// Option 2: Resume the session directly on an existing session object
activeSessionHandle?.let { handle ->
session.resumeSession(
sessionResumption = SessionResumptionConfig(handle = handle)
)
}
Java
For Java, session resumption is not yet supported. Check back soon!
Web
// Local variable to save the active session handle
let activeSessionHandle = null;
// Initialize the session. Passing an empty object requests the server to send SessionResumptionUpdate
let session = await liveModel.connect({});
// Start receiving responses
for await (const message of session.receive()) {
// Process other received response types...
// Check for new session handles inside your message handling loop
if (message.type === 'sessionResumptionUpdate') {
if (message.resumable && message.newHandle) {
activeSessionHandle = message.newHandle;
console.log(`SessionResumptionUpdate: handle ${activeSessionHandle}`);
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (activeSessionHandle) {
session = await liveModel.connect({
handle: activeSessionHandle
});
}
// Option 2: Resume the session directly on an existing session object
if (activeSessionHandle) {
await session.resumeSession({
handle: activeSessionHandle
});
}
Dart
// Local variable to save the active session handle
String? _activeSessionHandle;
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var _session = await _liveModel.connect(
sessionResumption: SessionResumptionConfig(),
);
// Start receiving responses
await for (final message in _session.receive()) {
// Process other received response types...
// Check for new session handles inside your message handling loop
if (message is SessionResumptionUpdate &&
message.resumable != null &&
message.resumable!) {
_activeSessionHandle = message.newHandle;
log('SessionResumptionUpdate: handle ${message.newHandle}');
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (_activeSessionHandle != null) {
_session = await _liveModel.connect(
sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
);
}
// Option 2: Alternatively, resume the session directly on an existing session object
if (_activeSessionHandle != null) {
await _session.resumeSession(
sessionResumption: SessionResumptionConfig.resume(_activeSessionHandle!),
);
}
Unity
// Local variable to save the active session handle
string activeSessionHandle = null;
// Initialize the session. Passing an empty config requests the server to send SessionResumptionUpdate
var session = await liveModel.ConnectAsync(
sessionResumption: new SessionResumptionConfig()
);
// Start receiving responses
await foreach (var response in session.ReceiveAsync())
{
// Process other received response types...
// Check for new session handles inside your message handling loop
if (response.Message is LiveSessionResumptionUpdate updateMessage)
{
if (updateMessage.Resumable == true && !string.IsNullOrEmpty(updateMessage.NewHandle))
{
activeSessionHandle = updateMessage.NewHandle;
Debug.Log($"SessionResumptionUpdate: handle {activeSessionHandle}");
}
}
}
// The following are alternative options to resume a session. Choose only one.
// Option 1: Create and connect a session to resume with the saved handle
if (!string.IsNullOrEmpty(activeSessionHandle)) {
session = await liveModel.ConnectAsync(
sessionResumption: new SessionResumptionConfig(activeSessionHandle)
);
}
// Option 2: Resume the session directly on an existing session object
if (!string.IsNullOrEmpty(activeSessionHandle)) {
await session.ResumeSessionAsync(
sessionResumption: new SessionResumptionConfig(activeSessionHandle)
);
}