Limits und Spezifikationen der Live API


Auf dieser Seite werden verschiedene Einschränkungen und Spezifikationen für die Verwendung der Live API und ihrer Modelle beschrieben.

Sitzungsbezogene Beschränkungen

Bei Live API bezieht sich eine Sitzung auf eine persistente Verbindung, über die Ein- und Ausgabe kontinuierlich über dieselbe Verbindung gestreamt werden.

Wenn die Sitzung eines der folgenden Limits überschreitet, wird die Verbindung beendet.

  • Die Verbindungsdauer ist auf etwa 10 Minuten begrenzt.

  • Die Sitzungslänge hängt von den Eingabemodalitäten ab:

    • Eingabesitzungen, die nur Audio enthalten, sind auf 15 Minuten begrenzt.
    • Video- und Audioeingaben sind auf 2 Minuten begrenzt.

  • Das Sitzungskontextfenster ist auf 128.000 Tokens begrenzt.

Ratenlimits

Für Live API gelten Ratenlimits sowohl für gleichzeitige Sitzungen pro Firebase-Projekt als auch für Tokens pro Minute (TPM).

  • Gemini Developer API:

  • Vertex AI Gemini API:

    • 1.000 gleichzeitige Sitzungen pro Firebase-Projekt
    • 4 Millionen Tokens pro Minute

Audioformate

Die Live API unterstützt die folgenden Audioformate:

  • Eingabeaudioformat:Rohes 16‑Bit-PCM-Audio mit 16 kHz, Little Endian

  • Audioausgabeformat:Rohes 16‑Bit-PCM-Audio mit 24 kHz, Little Endian

  • Unterstützte MIME-Typen: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

Um die Abtastrate von Audioeingaben anzugeben, legen Sie den MIME-Typ jedes Audio-Blobs auf einen Wert wie audio/pcm;rate=16000 fest.

Videoformate

Für Live API wird eine Sequenz diskreter Bildframes erwartet. Videoframes werden mit 1 fps (Frame pro Sekunde) unterstützt.

  • Empfohlene Eingabe: native Auflösung von 768 × 768 Pixeln bei 1 FPS.

  • Unterstützte MIME-Typen: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

Diese Spezifikation macht die Live API für Anwendungsfälle ungeeignet, bei denen schnell wechselnde Videos analysiert werden müssen, z. B. die Spielberichterstattung bei Hochgeschwindigkeitssportarten.

Stimmen für Antworten

Live API unterstützt die folgenden Optionen für die Antwortstimme. Hier finden Sie Demos, wie die einzelnen Stimmen klingen.

Wenn Sie keine Antwortstimme angeben, wird standardmäßig Puck verwendet.

Informationen zum Festlegen der Stimme für Antworten

Zephyr – Hell
Kore – Fest
Orus – Fest
Autonoe – Hell
Umbriel – Gelassen
Erinome – Klar
Laomedeia – Fröhlich
Schedar – Gleichmäßig
Achird – Freundlich
Sadachbia – Lebhaft 		Puck – Fröhlich
Fenrir – Aufgeregt
Aoede – Leicht
Enceladus – Hauchig
Algieba – Sanft
Algenib – Rau
Achernar – Weich
Gacrux – Reif
Zubenelgenubi – Locker
Sadaltager – Wissend 		Charon – Informative
Leda – Jugendlich
Callirrhoe – Gelassen
Iapetus – Klar
Despina – Sanft
Rasalgethi – Informative
Alnilam – Entschlossen
Pulcherrima – Direkt
Vindemiatrix – Sanft
Sulafat – Warm

Sprachen

Live API unterstützt die folgenden Sprachen. Informationen zum Festlegen der Antwortsprache

Sprache BCP-47-Code Sprache BCP-47-Code
Arabisch (Ägypten) ar-EG Deutsch (Deutschland) de-DE
Englisch (USA) en-US Spanisch (USA) es-US
Französisch (Frankreich) fr-FR Hindi (Indien) hi-IN
Indonesisch (Indonesien) id-ID Italienisch (Italien) it-IT
Japanisch (Japan) ja-JP Koreanisch (Korea) ko-KR
Portugiesisch (Brasilien) pt-BR Russisch (Russland) ru-RU
Niederländisch (Niederlande) nl-NL Polnisch (Polen) pl-PL
Thailändisch (Thailand) th-TH Türkisch (Türkei) tr-TR
Vietnamesisch (Vietnam) vi-VN Rumänisch (Rumänien) ro-RO
Ukrainisch (Ukraine) uk-UA Bengalisch (Bangladesch) bn-BD
Englisch (Indien) en-IN- und hi-IN-Set Marathi (Indien) mr-IN
Tamil (Indien) ta-IN Telugu (Indien) te-IN