Limits und Spezifikationen der Live API


Auf dieser Seite werden verschiedene Limits und Spezifikationen für die Verwendung der Live API und ihrer Modelle beschrieben.

Allgemeine Spezifikationen und Limits

  • Unterstützte Ein- und Ausgaben (weitere Informationen finden Sie unten unter Medienformate):

    • Eingabe: Text, Bilder (keine PDFs), Audio, Video
    • Ausgabe: Text (Transkription) und Audio (Streaming)

  • Unterstützte Tools: Funktionsaufrufe, Fundierung mit Google Search, Fundierung mit Google Maps

  • Wissensstichtag: Januar 2025

Live API unterstützt nicht das Generieren strukturierter Ausgaben (wie JSON) oder die Count Tokens API.

Sitzungsbezogene Limits

Für die Live API bezieht sich eine Sitzung auf eine persistente Verbindung, bei der Eingabe und Ausgabe kontinuierlich über eine Verbindung gestreamt werden.

Wenn die Sitzung eines der folgenden Limits überschreitet, wird die Verbindung beendet. Beachten Sie jedoch, dass Live API einige Optionen (siehe unten) bietet, um diese sitzungsbezogenen Limits zu verwalten.

  • Das Kontextfenster der Sitzung ist auf 128.000 Tokens beschränkt.

    Aufgrund dieses Limits für das Kontextfenster gelten die folgenden ungefähren maximalen Sitzungslängen basierend auf den Eingabemodalitäten:

    • Sitzungen mit reiner Audioeingabe sind auf 15 Minuten begrenzt.
    • Video- und Audioeingaben sind auf 2 Minuten begrenzt.

  • Die Verbindungsdauer ist auf etwa 10 Minuten begrenzt.

    Etwa 60 Sekunden vor dem Ende der Verbindung erhalten Sie eine Benachrichtigung, dass die Verbindung beendet wird.

Hier sind einige Optionen für den Umgang mit sitzungsbezogenen Limits:

Weitere Informationen zum Verwalten von Sitzungen

Ratenlimits

Für Live API gelten Ratenbegrenzungen sowohl für gleichzeitige Sitzungen pro Firebase-Projekt als auch für Tokens pro Minute (TPM).

  • Gemini Developer API:

  • Agent Platform Gemini API (formerly Vertex AI):

    • 1.000 gleichzeitige Sitzungen pro Firebase-Projekt
    • 4 Millionen Tokens pro Minute

Medienformate

Der Live API unterstützt die folgenden Medientypen:

  • Eingabe: Bilder, Audio, Video
  • Ausgabe: Audio

Bildformate

Live API unterstützt Folgendes für die Bildeingabe:

  • Maximale Anzahl von Bildern pro Prompt: 3.000

  • Maximale Dateigröße pro Datei (Inline-Daten): 7 MB

  • Unterstützte MIME-Typen: image/png, image/jpeg, image/webp, image/heic, image/heif

Audioformate

Der Live API unterstützt die folgenden Audioformate:

  • Eingabeaudioformat: Unverarbeitetes 16-Bit-PCM-Audio mit 16 kHz Little-Endian

  • Audioausgabeformat: Unkomprimiertes 16-Bit-PCM-Audio mit 24 kHz, Little Endian

  • Unterstützte MIME-Typen: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

Wenn Sie die Abtastrate der Audioeingabe angeben möchten, legen Sie den MIME-Typ jedes Blobs, der Audio enthält, auf einen Wert wie audio/pcm;rate=16000 fest.

Videoformate

Live API erwartet eine Sequenz diskreter Bildframes und unterstützt die Eingabe von Videoframes mit 1 Bild pro Sekunde (FPS).

  • Empfohlene Eingabe: native Auflösung von 768 × 768 bei 1 fps.

  • Unterstützte MIME-Typen: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

Aufgrund dieser Spezifikation ist das Live API-Modell nicht für Anwendungsfälle geeignet, bei denen sich schnell ändernde Videos analysiert werden müssen, z. B. bei der Live-Berichterstattung von schnellen Sportarten.

Stimmen für Antworten

Live API unterstützt 30 verschiedene synthetisierte HD-Stimmen mit jeweils unterschiedlichen Merkmalen. Wenn Sie den Abschnitt unten maximieren, können Sie sich eine Liste der Sprachoptionen für Antworten ansehen und Demos der einzelnen Stimmen anhören.

Wenn Sie keine Antwortstimme angeben, wird standardmäßig Puck verwendet.

Informationen zum Festlegen der Antwortstimme

Sprachen

Live API unterstützt die folgenden Sprachen. Informationen zum Beeinflussen der Antwortsprache

Von allen Audiogenerierungsmodellen unterstützte Sprachen
Sprache BCP-47-Code Sprache BCP-47-Code
Arabisch (Ägypten) ar-EG Deutsch (Deutschland) de-DE
Englisch (USA) en-US Spanisch (USA) es-US
Französisch (Frankreich) fr-FR Hindi (Indien) hi-IN
Indonesisch (Indonesien) id-ID Italienisch (Italien) it-IT
Japanisch (Japan) ja-JP Koreanisch (Korea) ko-KR
Portugiesisch (Brasilien) pt-BR Russisch (Russland) ru-RU
Niederländisch (Niederlande) nl-NL Polnisch (Polen) pl-PL
Thailändisch (Thailand) th-TH Türkisch (Türkei) tr-TR
Vietnamesisch (Vietnam) vi-VN Rumänisch (Rumänien) ro-RO
Ukrainisch (Ukraine) uk-UA Bengalisch (Bangladesch) bn-BD
Englisch (Indien) en-IN- und hi-IN-Bundle Marathi (Indien) mr-IN
Tamil (Indien) ta-IN Telugu (Indien) te-IN
Zusätzliche Sprachen, die von Audiogenerierungsmodellen der Version 3.x unterstützt werden
Sprache BCP-47-Code Sprache BCP-47-Code
Afrikaans af Filipino fil
Albanisch sq Finnisch fi
Amharisch vormittags Galizisch gl
Armenisch hy Georgisch ka
Aserbaidschanisch az Griechisch el
Baskisch eu Gujarati gu
Belarussisch be Haitianisch ht
Bulgarisch bg Hebräisch er
Burmesisch mein Ungarisch hu
Katalanisch Zertifizierungsstelle Isländisch ist
Cebuano ceb Javanisch jv
Chinesisch (Mandarin) cmn Kannada kn
Kroatisch Std. Konkani kok
Tschechisch cs Lao lo
Dänisch da Latein la
Estnisch et Lettisch lv
Litauisch lt Luxemburgisch lb
Mazedonisch mk Maithili mai
Malagasy mg Malaiisch ms
Malayalam ml Mongolisch mn
Nepalesisch ne Norwegisch (Bokmål) nb
Norwegisch (Nynorsk) nn Oriya oder
Paschtu ps Persisch fa
Punjabi pa Serbisch sr
Sindhi sd Singhalesisch si
Slowakisch sk Slowenisch sl
Swahili sw Schwedisch sv
Urdu ur