Tổng quan về cách chỉnh sửa hình ảnh bằng Imagen


Chỉ có khi bạn dùng Vertex AI Gemini API làm trình cung cấp API.


Các SDK Firebase AI Logic cho phép bạn truy cập vào các mô hình Imagen (thông qua Imagen API) để có thể chỉnh sửa hình ảnh bằng một trong hai cách:

  • Chỉnh sửa dựa trên mặt nạ, chẳng hạn như chèn và xoá đối tượng, mở rộng nội dung hình ảnh ra ngoài đường viền ban đầu và thay thế nền

  • Tuỳ chỉnh dựa trên phong cách (chẳng hạn như hoạ tiết, kết cấu hoặc phong cách của nghệ sĩ), chủ đề (chẳng hạn như sản phẩm, người hoặc động vật) hoặc chế độ kiểm soát (chẳng hạn như bản phác thảo vẽ tay).

Trang này mô tả từng lựa chọn chỉnh sửa ở cấp độ tổng quát. Mỗi lựa chọn đều có trang riêng biệt với nhiều thông tin chi tiết và mẫu mã.

Các mô hình hỗ trợ tính năng này

Imagen cung cấp tính năng chỉnh sửa hình ảnh thông qua mô hình capability:

  • imagen-3.0-capability-001

Xin lưu ý rằng đối với các mô hình Imagen, hệ thống không hỗ trợ vị trí global.

Chỉnh sửa dựa trên mặt nạ

Chỉnh sửa dựa trên mặt nạ cho phép bạn chỉnh sửa chính xác và cục bộ một hình ảnh. Mô hình này chỉ thay đổi trong vùng bị che khuất đã xác định của hình ảnh. Mặt nạ là một lớp phủ kỹ thuật số xác định vùng cụ thể mà bạn muốn chỉnh sửa. Mô hình có thể tự động phát hiện và tạo vùng bị che hoặc được xác định trong hình ảnh bị che mà bạn cung cấp. Tuỳ thuộc vào trường hợp sử dụng, mô hình có thể yêu cầu một câu lệnh bằng văn bản để biết những thay đổi cần thực hiện.

Sau đây là các trường hợp sử dụng phổ biến cho tính năng chỉnh sửa dựa trên mặt nạ:

Chèn đối tượng (tô màu nội dung)

Bạn có thể dùng tính năng vẽ lên ảnh để chèn các đối tượng vào hình ảnh.

Cách hoạt động: Bạn cung cấp một hình ảnh gốc và một hình ảnh được che tương ứng (do hệ thống tự động tạo hoặc do bạn cung cấp) để xác định một mặt nạ trên vùng mà bạn muốn thêm nội dung mới. Bạn cũng cung cấp một câu lệnh dạng văn bản mô tả nội dung bạn muốn thêm. Sau đó, mô hình sẽ tạo và thêm nội dung mới vào vùng bị che.

Ví dụ: bạn có thể che một chiếc bàn và yêu cầu mô hình thêm một bình hoa.

Xoá đối tượng (tô màu nội dung)

Bạn có thể dùng tính năng chỉnh sửa cục bộ để xoá các đối tượng khỏi hình ảnh.

Cách hoạt động: Bạn cung cấp một hình ảnh gốc và một hình ảnh được che tương ứng (do hệ thống tạo tự động hoặc do bạn cung cấp) để xác định một mặt nạ trên đối tượng hoặc chủ thể mà bạn muốn xoá. Bạn cũng có thể tuỳ ý cung cấp câu lệnh bằng văn bản mô tả nội dung bạn muốn xoá, hoặc mô hình có thể phát hiện một cách thông minh đối tượng cần xoá. Sau đó, mô hình sẽ xoá đối tượng và điền nội dung mới, phù hợp với bối cảnh vào khu vực đó.

Ví dụ: bạn có thể che một quả bóng và thay thế bằng một bức tường trống hoặc một cánh đồng cỏ.

Mở rộng hình ảnh ra ngoài đường viền ban đầu (tạo sinh bên ngoài)

Bạn có thể dùng tính năng tạo ảnh bên ngoài để mở rộng hình ảnh ra ngoài đường viền ban đầu.

Cách hoạt động: Bạn cung cấp một hình ảnh gốc và một hình ảnh được che tương ứng (do bạn cung cấp hoặc được tạo tự động) để xác định mặt nạ của vùng mới được mở rộng. Bạn cũng có thể cung cấp câu lệnh dạng văn bản (không bắt buộc) mô tả nội dung bạn muốn trong vùng mở rộng, hoặc mô hình có thể tự động quyết định nội dung nào sẽ tiếp tục một cách hợp lý cảnh hiện có. Mô hình này sẽ tạo nội dung mới và điền vào vùng bị che.

Ví dụ: bạn có thể thay đổi tỷ lệ khung hình của một hình ảnh hoặc thêm ngữ cảnh nền.

Thay thế nền

Bạn có thể thay thế nền của một hình ảnh.

Cách thức hoạt động: Bạn cung cấp một hình ảnh gốc và một hình ảnh được che tương ứng xác định mặt nạ trên nền – bằng cách sử dụng tính năng tự động phát hiện nền hoặc tự cung cấp mặt nạ của nền. Bạn cũng cung cấp một câu lệnh dạng văn bản mô tả nội dung bạn muốn thay đổi. Sau đó, mô hình sẽ tạo và áp dụng một phông nền mới.

Ví dụ: bạn có thể thay đổi chế độ cài đặt xung quanh một chủ thể hoặc đối tượng mà không ảnh hưởng đến nền trước (ví dụ: trong hình ảnh sản phẩm).

Tùy chỉnh

Tuỳ chỉnh cho phép bạn chỉnh sửa hoặc tạo hình ảnh bằng cách sử dụng câu lệnh dạng văn bản và hình ảnh tham khảo để hướng dẫn mô hình tạo hình ảnh mới dựa trên một phong cách, đối tượng (chẳng hạn như sản phẩm, người hoặc động vật) hoặc thành phần kiểm soát được chỉ định.

Tuỳ chỉnh dựa trên một kiểu

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên một phong cách cụ thể.

Cách hoạt động: Bạn cung cấp một câu lệnh bằng văn bản và ít nhất một hình ảnh tham khảo cho thấy một kiểu cụ thể (chẳng hạn như một mẫu, kết cấu hoặc kiểu thiết kế). Mô hình sử dụng các dữ liệu đầu vào này để tạo một hình ảnh mới dựa trên phong cách được chỉ định trong hình ảnh tham khảo.

Ví dụ: bạn có thể tạo một hình ảnh mới về nhà bếp dựa trên hình ảnh trong một danh mục bán lẻ phổ biến mà bạn cung cấp.

Tuỳ chỉnh dựa trên một chủ đề

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên một đối tượng cụ thể.

Cách hoạt động: Bạn cung cấp một câu lệnh bằng văn bản và ít nhất một hình ảnh tham khảo cho thấy một chủ thể cụ thể (chẳng hạn như sản phẩm, người hoặc động vật). Mô hình này sử dụng các dữ liệu đầu vào này để tạo một hình ảnh mới dựa trên chủ thể được chỉ định trong hình ảnh tham khảo.

Ví dụ: bạn có thể yêu cầu mô hình áp dụng phong cách hoạt hình cho ảnh trẻ em hoặc thay đổi màu sắc của chiếc xe đạp trong ảnh.

Tuỳ chỉnh dựa trên một chế độ kiểm soát

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên một thông tin kiểm soát cụ thể.

Cách hoạt động: Bạn cung cấp một câu lệnh bằng văn bản và ít nhất một hình ảnh tham chiếu kiểm soát (chẳng hạn như bản vẽ hoặc hình ảnh có đường viền rõ nét). Mô hình này sử dụng các dữ liệu đầu vào này để tạo một hình ảnh mới dựa trên hình ảnh kiểm soát.

Ví dụ: bạn có thể cung cấp cho mô hình bản vẽ về một con tàu vũ trụ và mặt trăng cùng với một câu lệnh bằng văn bản để tạo bức tranh màu nước dựa trên bản vẽ đó.


Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic