Поддерживаемые входные файлы и требования

При вызове Gemini API из приложения с помощью SDK Firebase AI Logic вы можете попросить модель Gemini сгенерировать текст на основе мультимодальных входных данных, таких как изображения, видео, аудио и документы (например, PDF).

Вам нужно использовать поддерживаемые типы файлов, указать поддерживаемый MIME-тип и убедиться, что ваши файлы и мультимодальные запросы соответствуют требованиям и рекомендациям.

На этой странице описывается, как использовать GenerativeModel. Здесь вы найдете следующую информацию:

Варианты предоставления файлов в мультимодальных запросах

Выберите поставщика Gemini API, чтобы посмотреть контент, относящийся к нему

В каждом мультимодальном запросе всегда необходимо указывать следующее:

Размер и количество файлов, которые можно предоставить в запросе, зависят от типа входного файла, способа его предоставления и используемой модели (подробности см. в разделе, посвященном каждому типу входного файла, на этой странице).

Вариант 1. Предоставьте файл в виде встроенных данных

Обратите внимание на следующее:

  • Встроенные данные можно использовать только для небольших файлов, поскольку максимальный размер запроса составляет 20 МБ.

  • При передаче файл кодируется в Base64, что увеличивает его размер.

Пример того, как включить файл в качестве встроенных данных, можно найти в разделе Генерирование текста на основе текста и файла (мультимодальный запрос). Обратите внимание, что SDK для платформ Android и Apple могут обрабатывать встроенные изображения в запросах без необходимости указывать MIME-тип. Подробнее…

Вариант 2. Укажите URL файла.

Ниже перечислены типы URL, которые можно использовать в атрибуте Gemini Developer API.


Изображения: требования, рекомендации и ограничения

Требования к изображениям

В этом разделе рассказывается о поддерживаемых MIME-типах и ограничениях на запрос для изображений.

Поддерживаемые MIME-типы

Мультимодальные модели Gemini поддерживают следующие MIME-типы изображений:

  • PNG – image/png
  • JPEG – image/jpeg
  • WebP – image/webp

Ограничения на запрос

Ограничений на количество пикселей в изображении нет. Однако изображения большего размера уменьшаются и дополняются полями, чтобы соответствовать максимальному разрешению 3072 x 3072, сохраняя при этом исходное соотношение сторон.

Максимальное количество файлов на запрос: 3000 графических файлов.

Изображения: токенизация

Вот как рассчитываются токены для изображений:

  • Если оба размера изображения меньше или равны 384 пикселям, то используется 258 токенов.
  • Если один из размеров изображения превышает 384 пикселя, оно разбивается на фрагменты. По умолчанию размер каждого фрагмента равен наименьшему размеру (ширине или высоте), деленному на 1,5. При необходимости размер каждого фрагмента корректируется так, чтобы он был не меньше 256 пикселей и не больше 768 пикселей. Затем размер каждого фрагмента изменяется до 768 x 768, и используется 258 токенов.

Рекомендации по работе с изображениями

Чтобы получить наилучшие результаты, следуйте приведенным ниже рекомендациям.

  • Если вы хотите распознать текст на изображении, используйте запросы с одним изображением, чтобы получить лучшие результаты, чем запросы с несколькими изображениями.
  • Если в запросе одно изображение, поместите его перед текстовым запросом.
  • Если в запросе несколько изображений и вы хотите ссылаться на них в запросе или чтобы модель ссылалась на них в ответе, можно добавить индекс перед каждым изображением. Используйте для индекса a b c или image 1 image 2 image 3. Ниже приведен пример использования индексированных изображений в запросе. 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Используйте изображения с более высоким разрешением.
  • Добавьте в запрос несколько примеров.
  • Прежде чем добавлять изображения в запрос, поверните их в правильную ориентацию.
  • Не используйте размытые изображения.

Изображения: ограничения

Мультимодальные модели Gemini эффективны во многих сценариях использования, но важно понимать их ограничения.

  • Модерация контента. Модели не дают ответы на запросы об изображениях, которые нарушают наши правила безопасности.
  • Пространственное мышление. Модели не могут точно определить местоположение текста или объектов на изображениях. Они могут возвращать только приблизительное количество объектов.
  • Медицинские цели. Модели не подходят для интерпретации медицинских изображений (например, рентгеновских снимков и компьютерной томографии) или предоставления медицинских консультаций.
  • Распознавание людей. Модели не предназначены для идентификации людей на изображениях, за исключением знаменитостей.
  • Точность. Модели могут галлюцинировать или ошибаться при интерпретации изображений низкого качества, повернутых или с очень низким разрешением. Модели также могут галлюцинировать при интерпретации рукописного текста в документах с изображениями.


Видео: требования, рекомендации и ограничения

Видео: требования

В этом разделе рассказывается о поддерживаемых MIME-типах и ограничениях на запросы для видео.

Поддерживаемые MIME-типы

Мультимодальные модели Gemini поддерживают следующие MIME-типы видео:

  • FLV – video/x-flv
  • MOV – video/quicktime
  • MPEG – video/mpeg
  • MPEGPS – video/mpegps
  • Расход топлива – video/mpg
  • MP4 – video/mp4
  • WebM – video/webm
  • WMV – video/wmv
  • 3GPP – video/3gpp

Ограничения на запрос

Максимальное количество файлов в запросе: 10 видеофайлов.

Видео: токенизация

Вот как рассчитываются токены для видео:

  • Звуковая дорожка закодирована вместе с кадрами видео. Аудиодорожка также разбивается на сегменты по одной секунде, каждый из которых содержит 32 токена. Токены кадров видео и аудио чередуются вместе с временными метками. Временные метки представлены в виде пяти токенов.
  • Для видео с частотой дискретизации 1 кадр/с или ниже временные метки для первого часа видео представлены в виде пяти токенов на кадр. Остальные временные метки представлены как 7 токенов на кадр видео.
  • Для видео с частотой дискретизации выше 1 кадра в секунду временные метки для первого часа видео представлены в виде 9 токенов на кадр. Остальные временные метки представлены в виде 11 токенов на кадр видео.

Видео: рекомендации

Чтобы получить наилучшие результаты, следуйте приведенным ниже рекомендациям.

  • Если в запросе только одно видео, поместите его перед текстовым запросом.
  • Если вам нужно локализовать временные метки в видео со звуком, попросите модель сгенерировать их в формате, описанном в разделе "Формат временных меток".

Видео: ограничения

Мультимодальные модели Gemini эффективны во многих сценариях использования, но важно понимать их ограничения.

  • Модерация контента. Модели не отвечают на вопросы о видео, которые нарушают наши правила безопасности.
  • Распознавание звуков, не являющихся речью. Модели, поддерживающие аудио, могут ошибаться при распознавании звуков, не являющихся речью.


Аудио: требования и ограничения

Требования к аудио

В этом разделе вы узнаете о поддерживаемых MIME-типах и ограничениях на запрос для аудио.

Поддерживаемые MIME-типы

Мультимодальные модели Gemini поддерживают следующие MIME-типы аудио:

  • AAC – audio/aac
  • FLAC – audio/flac
  • MP3 – audio/mp3
  • MPA – audio/m4a
  • MPEG – audio/mpeg
  • MPGA – audio/mpga
  • MP4 – audio/mp4
  • OPUS – audio/opus
  • PCM – audio/pcm
  • WAV – audio/wav
  • WebM – audio/webm

Ограничения на запрос

Максимальное количество файлов на запрос: 1 аудиофайл

Аудио: ограничения

Мультимодальные модели Gemini эффективны во многих сценариях использования, но важно понимать их ограничения.

  • Распознавание звуков, не являющихся речью. Модели, поддерживающие аудио, могут ошибаться при распознавании звуков, не являющихся речью.
  • Временные метки для аудиофайлов. Чтобы временные метки для аудиофайлов создавались правильно, необходимо настроить параметр audio_timestamp в generation_config.


Документы (например, PDF): требования, рекомендации и ограничения

Документы: требования

В этом разделе вы узнаете о поддерживаемых MIME-типах и ограничениях на запрос для документов (например, PDF).

Поддерживаемые MIME-типы

Мультимодальные модели Gemini поддерживают следующие MIME-типы документов:

  • PDF – application/pdf
  • Текст – text/plain

Ограничения на запрос

PDF-файлы обрабатываются как изображения, поэтому одна страница PDF-файла считается одним изображением. Количество страниц, которые можно добавить в запрос, ограничено количеством изображений, поддерживаемых мультимодальными моделями Gemini.

  • Максимальное количество файлов на запрос: 3000.
  • Максимальное количество страниц в файле: 1000.
  • Максимальный размер файла: 50 МБ.

Документы: токенизация

Токенизация PDF-файлов

PDF-файлы обрабатываются как изображения, поэтому каждая страница PDF-файла токенизируется так же, как изображение.

Стоимость PDF-файлов соответствует ценам на изображения Gemini. Например, если вы включите двухстраничный PDF-файл в вызов API Gemini, с вас будет взиматься плата за обработку двух изображений.

Документы: рекомендации

Чтобы получить наилучшие результаты, следуйте приведенным ниже рекомендациям.

  • Если ваш запрос содержит один PDF-файл, поместите его перед текстовым запросом.
  • Если у вас длинный документ, разделите его на несколько PDF-файлов.
  • Используйте PDF-файлы, в которых текст представлен в виде текста, а не в виде отсканированных изображений. Этот формат гарантирует, что текст будет машиночитаемым, поэтому модели будет проще редактировать, искать и обрабатывать его по сравнению с отсканированными PDF-файлами. Это позволяет получить оптимальные результаты при работе с документами, содержащими много текста, например договорами.

Документы: ограничения

Мультимодальные модели Gemini эффективны во многих сценариях использования, но важно понимать их ограничения.

  • Пространственное мышление. Модели не могут точно определить местоположение текста или объектов в PDF-файлах. Они могут возвращать только приблизительное количество объектов.
  • Точность. Модели могут галлюцинировать при интерпретации рукописного текста в PDF-документах.