Ограничения и спецификации Live API


На этой странице описаны различные ограничения и спецификации для использования типа Live API и его моделей.

Общие технические характеристики и ограничения

  • Поддерживаемые входные и выходные данные (подробнее о форматах медиафайлов ниже).

    • Входные данные: текст, изображения (не PDF), аудио, видео
    • Выходные данные: текст (расшифровка) и аудио (потоковая передача)

  • Поддерживаемые инструменты: вызов функций, обоснованность с помощью Google Search, обоснованность с помощью Google Maps.

  • Дата обновления знаний: январь 2025 г.

Live API не поддерживает создание структурированных выходных данных (например, в формате JSON) или API Count Tokens.

Ограничения, связанные с сеансами

В случае с Live API сеанс – это постоянное подключение, при котором входные и выходные данные непрерывно передаются по каналу связи.

Если сеанс превышает любое из следующих ограничений, подключение будет разорвано. Однако Live API предлагает несколько вариантов действий, которые помогут вам справиться с ограничениями, связанными с сеансами (см. ниже).

  • Окно контекста сеанса ограничено 128 000 токенов.

    Из-за этого ограничения на размер окна контекста максимальная продолжительность сеанса в зависимости от способа ввода будет примерно следующей:

    • Сеансы ввода только аудио ограничены 15 минутами.
    • Продолжительность видео и аудио ограничена двумя минутами.

  • Продолжительность подключения ограничена примерно 10 минутами.

    Вы получите уведомление о том, что связь скоро будет разорвана примерно за 60 секунд до этого.

Вот несколько вариантов решения этой проблемы:

  • Сжать окно контекста сеанса, чтобы сервер автоматически поддерживал размер контекста в пределах лимита.

  • Возобновление сеанса позволяет не терять контекст разговора при кратковременном отключении сети или после получения уведомления Скоро уходим.

Подробнее об управлении сеансами…

Ограничение частоты запросов

Для Live API действуют ограничения частоты запросов как для параллельных сеансов на проект Firebase, так и для токенов в минуту (TPM).

Форматы медиафайлов

Live API поддерживает следующие типы медиаконтента:

  • Входные данные: изображения, аудио, видео.
  • Выходные данные: аудио.

Форматы изображений

Live API поддерживает следующие форматы входных изображений:

  • Максимальное количество изображений на запрос: 3000.

  • Максимальный размер файла (встроенные данные): 7 МБ.

  • Поддерживаемые MIME-типы: image/png, image/jpeg, image/webp, image/heic, image/heif

Аудиоформаты

Live API поддерживает следующие аудиоформаты:

  • Формат входного аудио: необработанный 16-битный PCM-аудиофайл с частотой 16 кГц (little-endian)

  • Формат выходного аудио: необработанный 16-битный PCM-аудиофайл с частотой 24 кГц и порядком байтов little-endian

  • Поддерживаемые MIME-типы: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm.

Чтобы передать частоту дискретизации входного аудио, задайте MIME-тип каждого объекта Blob, содержащего аудио, в виде audio/pcm;rate=16000.

Форматы видео

Live API ожидает последовательность отдельных кадров и поддерживает видеокадры с частотой 1 кадр в секунду.

  • Рекомендуемые входные данные: разрешение 768 x 768 пикселей при частоте 1 кадр в секунду.

  • Поддерживаемые MIME-типы: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp.

Обратите внимание, что эта спецификация делает формат Live API непригодным для случаев, когда требуется анализировать быстро меняющееся видео, например для трансляции спортивных соревнований.

Голоса для ответов

Live API поддерживает 30 различных синтезированных голосов HD, каждый из которых имеет свои особенности. Вы можете посмотреть список вариантов голоса и послушать их демоверсии, развернув раздел ниже.

Если вы не укажете голос для ответа, по умолчанию будет использоваться Puck.

Подробнее о том, как выбрать голос для ответов…

Языки

Live API поддерживает следующие языки: Подробнее о том, как влиять на язык ответов…

Языки, поддерживаемые всеми моделями для создания аудио
Язык Код BCP-47 Язык Код BCP-47
Арабский (Египет) ar-EG немецкий (Германия) de-DE
Английский (США) en-US Испанский (США) es-US
Французский (Франция) fr-FR Хинди (Индия) hi-IN
Индонезийский (Индонезия) id-ID итальянский (Италия) it-IT
Японский (Япония) ja-JP Корейский (Корея) ko-KR
Португальский (Бразилия) pt-BR русский (Россия) ru-RU
Нидерландский (Нидерланды) nl-NL Польский (Польша) pl-PL
Тайский (Таиланд) th-TH Турецкий (Турция) tr-TR
Вьетнамский (Вьетнам) vi-VN Румынский (Румыния) ro-RO
Украинский (Украина) uk-UA бенгальский (Бангладеш) bn-BD
Английский (Индия) Набор en-IN и hi-IN Маратхи (Индия) mr-IN
Тамильский (Индия) ta-IN Телугу (Индия) te-IN
Дополнительные языки, поддерживаемые моделями 3.x, генерирующими аудио
Язык Код BCP-47 Язык Код BCP-47
Африкаанс af Филиппинский fil
Албанский sq Финский fi
Амхарский am Галицийский gl
Армянский hy Грузинский ka
Азербайджанский az Греческий el
Баскский eu Гуджарати gu
Белорусский be Гаитянский креольский ht
Болгарский bg Иврит он
Бирманский my Венгерский hu
Каталанский ca Исландский –
Себуанский ceb Яванский Яванский
Китайский (севернокитайский) cmn Каннада kn
Хорватский ч. Конкани kok
Чешский cs Лаосский lo
Датский da Латинский la
Эстонский et Латышский lv
Литовский lt Люксембургский фнт
Македонский mk Майтхили mai
Малагасийский мг Малайский ms
Малаялам ml Монгольский mn
Непальский ne Норвежский (букмол) nb
Норвежский (нюнорск) nn Ория или
Пушту ps Персидское происхождение fa
Пенджабский pa Сербский sr
Синдхи sd Сингальский si
Словацкий sk Словенский sl
Суахили sw Шведский sv
Урду ur