Batasan dan spesifikasi Live API


Halaman ini menjelaskan berbagai batas dan spesifikasi untuk menggunakan Live API dan modelnya.

Spesifikasi dan batasan umum

  • Input dan output yang didukung: (untuk mengetahui detailnya, lihat format media di bawah)

    • Input: teks, gambar (bukan PDF), audio, video
    • Output: teks (transkripsi) dan audio (streaming)

  • Alat yang didukung: pemanggilan fungsi, Perujukan dengan Google Search, Perujukan dengan Google Maps

  • Tanggal batas pengetahuan: Januari 2025

Live API tidak mendukung pembuatan output terstruktur (seperti JSON) atau Count Tokens API.

Batas terkait sesi

Untuk Live API, sesi mengacu pada koneksi persisten tempat input dan output di-streaming secara berkelanjutan melalui koneksi.

Jika sesi melebihi salah satu batas berikut, koneksi akan dihentikan. Namun, Live API menyediakan beberapa opsi (lihat di bawah) untuk menangani batasan terkait sesi ini.

  • Jendela konteks sesi dibatasi hingga 128 ribu token.

    Karena batas jendela konteks ini, berikut perkiraan durasi sesi maksimum berdasarkan modalitas input:

    • Sesi input hanya audio dibatasi hingga 15 menit.
    • Input video + audio dibatasi hingga 2 menit.

  • Durasi koneksi dibatasi hingga sekitar 10 menit.

    Anda akan menerima notifikasi akan segera berakhir sekitar 60 detik sebelum koneksi berakhir.

Berikut beberapa opsi untuk menangani batas terkait sesi:

  • Memadatkan jendela konteks sesi sehingga server secara otomatis mempertahankan ukuran konteks dalam batas.

  • Lanjutkan sesi untuk mencegah hilangnya konteks percakapan selama jaringan terputus sebentar atau setelah menerima notifikasi akan pergi.

Pelajari lebih lanjut cara mengelola sesi.

Batas kapasitas

Live API memiliki batas laju untuk sesi serentak per project Firebase dan token per menit (TPM).

  • Gemini Developer API:

  • Agent Platform Gemini API (formerly Vertex AI):

    • 1.000 sesi serentak per project Firebase
    • 4 juta token per menit

Format media

Live API mendukung jenis media berikut:

  • Input: gambar, audio, video
  • Output: audio

Format gambar

Live API mendukung input gambar berikut:

  • Jumlah maksimum gambar per perintah: 3.000

  • Ukuran file maksimum per file (data inline): 7 MB

  • Jenis MIME yang didukung: image/png, image/jpeg, image/webp, image/heic, image/heif

Format audio

Live API mendukung format audio berikut:

  • Format audio input: Audio PCM 16 bit mentah pada 16 kHz little-endian

  • Format audio output: Audio PCM 16 bit mentah pada 24 kHz little-endian

  • Jenis MIME yang didukung: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

Untuk menyampaikan sample rate audio input, tetapkan jenis MIME setiap Blob yang berisi audio ke nilai seperti audio/pcm;rate=16000.

Format video

Live API mengharapkan urutan frame gambar diskrit dan mendukung input frame video pada 1 frame per detik (FPS).

  • Input yang direkomendasikan: resolusi 768x768 native pada 1 FPS.

  • Jenis MIME yang didukung: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

Perhatikan bahwa spesifikasi ini membuat Live API tidak cocok untuk kasus penggunaan yang memerlukan analisis video yang berubah dengan cepat, seperti play-by-play dalam olahraga berkecepatan tinggi.

Suara respons

Live API mendukung 30 suara HD tersintesis yang berbeda, masing-masing dengan karakteristik yang berbeda. Anda dapat melihat daftar opsi suara respons dan mendengar demo setiap suara dengan meluaskan bagian di bawah.

Jika Anda tidak menentukan suara respons, defaultnya adalah Puck.

Pelajari cara menentukan suara respons.

Languages

Live API mendukung bahasa berikut. Pelajari cara memengaruhi bahasa respons.

Bahasa yang didukung oleh semua model pembuat audio
Bahasa Kode BCP-47 Bahasa Kode BCP-47
Arab (Mesir) ar-EG Jerman (Jerman) de-DE
Inggris (AS) en-US Spanyol (AS) es-US
Prancis (Prancis) fr-FR Hindi (India) hi-IN
Indonesia (Indonesia) id-ID Italia (Italia) it-IT
Jepang (Jepang) ja-JP Korea (Korea) ko-KR
Portugis (Brasil) pt-BR Rusia (Rusia) ru-RU
Belanda (Belanda) nl-NL Polandia (Polandia) pl-PL
Thai (Thailand) th-TH Turkiye (Turkiye) tr-TR
Vietnam (Vietnam) vi-VN Rumania (Rumania) ro-RO
Ukraina (Ukraina) uk-UA Bengali (Bangladesh) bn-BD
Inggris (India) Paket en-IN & hi-IN Marathi (India) mr-IN
Tamil (India) ta-IN Telugu (India) te-IN
Bahasa tambahan yang didukung oleh model 3.x penghasil audio
Bahasa Kode BCP-47 Bahasa Kode BCP-47
Afrika af Filipina fil
Albania sq Finlandia fi
Amhara am Galisia gl
Armenia hy Georgia ka
Azerbaijani az Yunani el
Basque eu Gujarati gu
Belarusia be Kreol Haiti ht
Bulgaria bg Ibrani he
Burma my Hungaria hu
Catalan ca Islandia -
Cebuano ceb Jawa jv
China, Mandarin cmn Kannada kn
Kroasia jam Konkani kok
Ceko cs Laos lo
Denmark da Latin la
Estonia et Latvia lv
Lituania lt Luksemburg lb
Makedonia mk Maithili mai
Malagasi mg Melayu ms
Malayalam ml Mongolia mn
Nepali ne Norwegia, Bokmål nb
Norwegia, Nynorsk nn Odia atau
Pashto ps Dari Persia fa
Punjabi pa Serbia sr
Sindhi sd Sinhala si
Slovak sk Slovenia sl
Swahili sw Swedia sv
Urdu ur