Ограничения и спецификации Live API


На этой странице описаны различные ограничения и спецификации для использования Live API и его моделей.

Общие спецификации и ограничения

  • Поддерживаемые входные и выходные данные (подробности приведены в разделе Форматы медиафайлов ниже):

    • Входные данные: текст, изображения (не PDF), аудио, видео.
    • Выходные данные: текст (расшифровка) и аудио (потоковая передача).

  • Поддерживаемые инструменты: вызов функций, заземление с помощью Google Search, заземление с помощью Google Maps.

  • Дата актуальности данных: январь 2025 г.

Live API не поддерживает создание структурированных выходных данных (например, JSON) и Count Tokens API.

Ограничения, связанные с сеансами

В Live API сеанс – это постоянное подключение, в котором входные и выходные данные непрерывно передаются по соединению.

Если сеанс превышает любое из следующих ограничений, подключение прерывается. Однако в Live API предусмотрены некоторые возможности для работы с ограничениями на уровне сеанса (см. ниже).

  • Окно контекста сеанса ограничено 128 000 токенов.

    Из-за этого ограничения максимальная продолжительность сеанса зависит от типа входных данных:

    • Сеансы с аудиовводом ограничены 15 минутами.
    • Видео и аудио ограничены 2 минутами.

  • Продолжительность подключения ограничена примерно 10 минутами.

    Примерно за 60 секунд до окончания сеанса вы получите уведомление о завершении.

Вот несколько вариантов решения проблем с ограничениями на сеансы:

Подробнее об управлении сеансами…

Ограничение частоты запросов

В Live API есть ограничения частоты запросов как для одновременных сеансов в проекте Firebase, так и для токенов в минуту (TPM).

Форматы медиафайлов

Live API поддерживает следующие типы медиаконтента:

  • Входные данные: изображения, аудио, видео.
  • Выходные данные: аудио.

Форматы изображений

Live API поддерживает следующие форматы изображений:

  • Максимальное количество изображений на запрос: 3000.

  • Максимальный размер файла (встроенные данные): 7 МБ.

  • Поддерживаемые MIME-типы: image/png, image/jpeg, image/webp, image/heic, image/heif.

Аудиоформаты

Live API поддерживает следующие аудиоформаты:

  • Формат входного аудио: необработанное 16-битное аудио PCM с частотой 16 кГц и прямым порядком байтов.

  • Формат выходного аудио: необработанное 16-битное PCM-аудио с частотой 24 кГц и прямым порядком байтов.

  • Поддерживаемые MIME-типы: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm.

Чтобы передать частоту дискретизации входного аудио, задайте MIME-тип каждого Blob-объекта, содержащего аудио, например audio/pcm;rate=16000.

Форматы видео

Live API ожидает последовательность отдельных кадров изображения и поддерживает ввод кадров видео с частотой 1 кадр в секунду.

  • Рекомендуемые входные данные: исходное разрешение 768 x 768 при частоте 1 кадр/с.

  • Поддерживаемые MIME-типы: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp.

Обратите внимание, что из-за этой особенности Live API не подходит для анализа быстро меняющегося видео, например спортивных трансляций.

Голоса для ответов

Live API поддерживает 30 синтезированных HD-голосов с разными характеристиками. Чтобы посмотреть список вариантов голоса и послушать их демоверсии, разверните раздел ниже.

Если вы не укажете голос, по умолчанию будет использоваться Puck.

Подробнее о том, как выбрать голос для ответов…

Языки

Live API поддерживает следующие языки: Подробнее о том, как повлиять на язык ответа…

Языки, поддерживаемые всеми моделями генерации аудио
Язык Код BCP-47 Язык Код BCP-47
Арабский (Египет) ar-EG немецкий (Германия) de-DE
Английский (США) en-US Испанский (США) es-US
Французский (Франция) fr-FR Хинди (Индия) hi-IN
Индонезийский (Индонезия) id-ID (индонезийский, Индонезия) итальянский (Италия) it-IT
Японский (Япония) ja-JP Корейский (Корея) ko-KR
Португальский (Бразилия) pt-BR русский (Россия) ru-RU
Нидерландский (Нидерланды) nl-NL Польский (Польша) pl-PL
Тайский (Таиланд) th-TH Турецкий (Турция) tr-TR
Вьетнамский (Вьетнам) vi-VN Румынский (Румыния) ro-RO
Украинский (Украина) uk-UA бенгальский (Бангладеш) bn-BD
Английский (Индия) Пакет en-IN и hi-IN Маратхи (Индия) mr-IN
Тамильский (Индия) ta-IN Телугу (Индия) te-IN
Дополнительные языки, поддерживаемые моделями 3.x для генерации аудио
Язык Код BCP-47 Язык Код BCP-47
Африкаанс af Филиппинский fil
Албанский sq Финский fi
Амхарский am Галицийский gl
Армянский hy Грузинский ka
Азербайджанский az Греческий el
Баскский eu Гуджарати gu
Белорусский be Гаитянский креольский ht
Болгарский bg Иврит он
Бирманский my Венгерский hu
Каталанский ca Исландский –
Себуанский ceb Яванский jv
Китайский (севернокитайский) cmn Каннада kn
Хорватский ч. Конкани kok
Чешский cs Лаосский lo
Датский da Латинский la
Эстонский et Латышский lv
Литовский lt Люксембургский фнт
Македонский mk Майтхили mai
Малагасийский мг Малайский ms
Малаялам ml Монгольский mn
Непальский ne Норвежский (букмол) nb
Норвежский (нюнорск) nn Ория или
Пушту ps Персидское происхождение fa
Пенджабский pa Сербский sr
Синдхи sd Сингальский si
Словацкий sk Словенский sl
Суахили sw Шведский sv
Урду ur