Обзор редактирования изображений с помощью Imagen


Доступно только при использовании API Vertex AI Gemini в качестве поставщика API.


SDK Firebase AI Logic предоставляют доступ к моделям Imagen (через API Imagen ), позволяя редактировать изображения с помощью одного из следующих способов:

  • Редактирование с использованием масок , например, вставка и удаление объектов, расширение содержимого изображения за пределы исходных границ и замена фона.

  • Возможности персонализации , основанные на стиле (например, узор, текстура или стиль художника), тематике (например, продукт, человек или животное) или параметрах управления (например, эскиз, нарисованный от руки).

На этой странице в общих чертах описаны все варианты редактирования. Для каждого варианта существует отдельная страница с более подробной информацией и примерами кода.

Модели, поддерживающие эту возможность

Компания Imagen предлагает услуги по редактированию изображений в рамках своей модели capability :

  • imagen-3.0-capability-001

Обратите внимание, что для моделей Imagen global местоположение не поддерживается.

Редактирование на основе масок

Редактирование на основе масок позволяет вносить локальные, точные изменения в изображение. Модель вносит изменения исключительно в пределах определенной замаскированной области изображения. Маска — это цифровое наложение, определяющее конкретную область, которую вы хотите отредактировать. Замаскированная область может быть либо автоматически обнаружена и создана моделью, либо определена в предоставленном вами замаскированном изображении. В зависимости от сценария использования, модели может потребоваться текстовая подсказка, чтобы понять, какие изменения необходимо внести.

Вот типичные примеры использования редактирования с помощью масок:

Вставка объектов (заполнение пройденного пространства)

С помощью заполнения пробелов можно вставлять объекты на изображение.

Как это работает : Вы предоставляете исходное изображение и соответствующее изображение с маской — либо автоматически сгенерированное, либо предоставленное вами — которое определяет маску над областью, куда вы хотите добавить новый контент. Вы также предоставляете текстовое описание того, что хотите добавить. Затем модель генерирует и добавляет новый контент в замаскированную область.

Например, вы можете замаскировать стол и попросить модель добавить вазу с цветами.

Удаление объектов (заполнение пройденного пространства)

С помощью заполнения пробелов можно удалять объекты с изображения.

Как это работает : Вы предоставляете исходное изображение и соответствующее изображение с маской — либо автоматически сгенерированное, либо предоставленное вами — которое определяет маску над объектом или субъектом, который вы хотите удалить. Вы также можете дополнительно указать текстовую подсказку, описывающую, что вы хотите удалить, или модель может интеллектуально определить, какой объект нужно удалить. Затем модель удаляет объект и заполняет область новым, контекстно подходящим содержимым.

Например, вы можете замаскировать мяч и заменить его пустой стеной или травяным полем.

Расширение изображения за пределы его первоначальных границ (вытянутая живопись).

Техника раскрашивания с последующим расширением изображения за пределы его первоначальных границ позволяет использовать этот приём.

Как это работает : Вы предоставляете исходное изображение и соответствующее изображение с маской — либо автоматически сгенерированное, либо предоставленное вами — которое определяет маску новой, расширенной области. Вы также можете дополнительно указать текстовое описание того, что вы хотите видеть в расширенной области, или модель может автоматически определить, что будет логическим продолжением существующей сцены. Модель генерирует новый контент и заполняет область с маской.

Например, вы можете изменить соотношение сторон изображения или добавить дополнительный фоновый контекст.

Замените фон

Вы можете заменить фон изображения.

Как это работает : Вы предоставляете исходное изображение и соответствующее изображение с маской, определяющей маску для фона — либо с помощью автоматического определения фона, либо самостоятельно задав маску фона. Вы также предоставляете текстовое описание того, что хотите изменить. Затем модель генерирует и применяет новый фон.

Например, вы можете изменить настройки вокруг объекта или предмета, не затрагивая передний план (например, на изображении товара).

Настройка

Функция настройки позволяет редактировать или создавать изображения, используя текстовые подсказки и эталонные изображения, которые направляют модель на создание нового изображения на основе заданного стиля , объекта (например, продукта, человека или животного) или элемента управления .

Настройте в соответствии со стилем.

Вы можете редактировать или создавать изображения на основе заданного стиля .

Как это работает : Вы предоставляете текстовую подсказку и как минимум одно эталонное изображение, демонстрирующее определенный стиль (например, узор, текстуру или дизайн). Модель использует эти входные данные для генерации нового изображения на основе указанного стиля в эталонных изображениях.

Например, вы можете создать новое изображение кухни на основе предоставленного вами изображения из популярного каталога розничной торговли.

Настройте параметры по теме.

Вы можете редактировать или создавать изображения на основе указанной темы .

Как это работает : Вы предоставляете текстовую подсказку и как минимум одно эталонное изображение, демонстрирующее конкретный объект (например, продукт, человека или домашнее животное). Модель использует эти входные данные для генерации нового изображения на основе указанного объекта на эталонных изображениях.

Например, вы можете попросить модель применить мультяшный стиль к фотографии ребенка или изменить цвет велосипеда на снимке.

Настройка на основе элемента управления

Вы можете редактировать или создавать изображения на основе указанного элемента управления .

Как это работает : Вы предоставляете текстовую подсказку и как минимум одно контрольное эталонное изображение (например, рисунок или изображение контура, полученное с помощью алгоритма Кэнни). Модель использует эти входные данные для генерации нового изображения на основе контрольных изображений.

Например, вы можете предоставить модели рисунок ракеты и луны, а также текстовую подсказку для создания акварельной картины на основе этого рисунка.


Оставьте отзыв о вашем опыте использования Firebase AI Logic.