Tổng quan về cách chỉnh sửa hình ảnh bằng Imagen


Chỉ dùng được khi bạn sử dụng Vertex AI Gemini API làm nhà cung cấp API.


Các SDK Firebase AI Logic cho phép bạn truy cập vào các mô hình Imagen (thông qua API Imagen) để bạn có thể chỉnh sửa hình ảnh bằng cách:

  • **Chỉnh sửa dựa trên mặt nạ**, chẳng hạn như chèn và xoá đối tượng, mở rộng nội dung hình ảnh vượt ra ngoài đường viền ban đầu và thay thế phông nền

  • Các lựa chọntuỳ chỉnh dựa trên kiểu (như hoạ tiết, kết cấu hoặc kiểu nghệ sĩ), chủ thể (như sản phẩm, người hoặc động vật) hoặc nút điều khiển (như bản phác thảo vẽ tay).

Trang này mô tả từng lựa chọn chỉnh sửa ở cấp độ tổng quát. Mỗi lựa chọn đều có trang riêng với thông tin chi tiết và mẫu mã.

Các mô hình hỗ trợ tính năng này

Imagen cung cấp tính năng chỉnh sửa hình ảnh thông qua mô hình capability:

  • imagen-3.0-capability-001

Xin lưu ý rằng các mô hình Imagen global không hỗ trợ vị trí .

Chỉnh sửa dựa trên mặt nạ

Chỉnh sửa dựa trên mặt nạ cho phép bạn thực hiện các thay đổi chính xác và cục bộ đối với hình ảnh. Mô hình này chỉ thay đổi trong vùng bị che khuất đã xác định của hình ảnh. Mặt nạ là lớp phủ kỹ thuật số xác định vùng cụ thể mà bạn muốn chỉnh sửa. Mô hình có thể tự động phát hiện và tạo vùng bị che khuất hoặc bạn có thể xác định vùng này trong hình ảnh bị che khuất mà bạn cung cấp. Tuỳ thuộc vào trường hợp sử dụng, mô hình có thể yêu cầu câu lệnh văn bản để biết những thay đổi cần thực hiện.

Dưới đây là các trường hợp sử dụng phổ biến khi chỉnh sửa dựa trên mặt nạ:

Chèn đối tượng (tô màu)

Bạn có thể sử dụng tính năng tô màu để chèn đối tượng vào hình ảnh.

Cách hoạt động: Bạn cung cấp hình ảnh gốc và hình ảnh bị che khuất tương ứng (do hệ thống tự động tạo hoặc do bạn cung cấp) để xác định mặt nạ trên vùng mà bạn muốn thêm nội dung mới. Bạn cũng cung cấp câu lệnh văn bản mô tả nội dung bạn muốn thêm. Sau đó, mô hình sẽ tạo và thêm nội dung mới trong vùng bị che khuất.

Ví dụ: bạn có thể che khuất một chiếc bàn và yêu cầu mô hình thêm một bình hoa.

Xoá đối tượng (tô màu)

Bạn có thể sử dụng tính năng tô màu để xoá đối tượng khỏi hình ảnh.

Cách hoạt động: Bạn cung cấp hình ảnh gốc và hình ảnh bị che khuất tương ứng (do hệ thống tự động tạo hoặc do bạn cung cấp) để xác định mặt nạ trên đối tượng hoặc chủ thể mà bạn muốn xoá. Bạn cũng có thể cung cấp câu lệnh văn bản mô tả nội dung bạn muốn xoá (không bắt buộc) hoặc mô hình có thể tự động phát hiện đối tượng cần xoá. Sau đó, mô hình sẽ xoá đối tượng và điền nội dung mới phù hợp với bối cảnh vào vùng đó.

Ví dụ: bạn có thể che khuất một quả bóng và thay thế bằng một bức tường trống hoặc một cánh đồng cỏ.

Mở rộng hình ảnh vượt ra ngoài đường viền ban đầu (vẽ mở rộng)

Bạn có thể sử dụng tính năng vẽ mở rộng để mở rộng hình ảnh vượt ra ngoài đường viền ban đầu.

Cách hoạt động: Bạn cung cấp hình ảnh gốc và hình ảnh bị che khuất tương ứng (do hệ thống tự động tạo hoặc do bạn cung cấp) để xác định mặt nạ của vùng mới được mở rộng. Bạn cũng có thể cung cấp câu lệnh văn bản mô tả nội dung bạn muốn trong vùng mở rộng (không bắt buộc) hoặc mô hình có thể tự động quyết định nội dung sẽ tiếp tục cảnh hiện có một cách hợp lý. Mô hình sẽ tạo nội dung mới và điền vào vùng bị che khuất.

Ví dụ: bạn có thể thay đổi tỷ lệ khung hình của hình ảnh hoặc thêm bối cảnh nền.

Thay thế phông nền

Bạn có thể thay thế phông nền của hình ảnh.

Cách hoạt động: Bạn cung cấp hình ảnh gốc và hình ảnh bị che khuất tương ứng để xác định mặt nạ trên phông nền (bằng cách sử dụng tính năng tự động phát hiện phông nền hoặc tự cung cấp mặt nạ của phông nền). Bạn cũng cung cấp câu lệnh văn bản mô tả nội dung bạn muốn thay đổi. Sau đó, mô hình sẽ tạo và áp dụng phông nền mới.

Ví dụ: bạn có thể thay đổi chế độ cài đặt xung quanh một chủ thể hoặc đối tượng mà không ảnh hưởng đến tiền cảnh (ví dụ: trong hình ảnh sản phẩm).

Tuỳ chỉnh

Tuỳ chỉnh cho phép bạn chỉnh sửa hoặc tạo hình ảnh bằng câu lệnh dạng văn bản và hình ảnh tham khảo để hướng dẫn mô hình tạo hình ảnh mới dựa trên kiểu, chủ thể (như sản phẩm, người hoặc động vật) hoặc nút điều khiển đã chỉ định.

Tuỳ chỉnh dựa trên kiểu

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên kiểu đã chỉ định.

Cách hoạt động: Bạn cung cấp câu lệnh dạng văn bản và ít nhất một hình ảnh tham khảo cho thấy một kiểu cụ thể (như hoạ tiết, kết cấu hoặc kiểu thiết kế). Mô hình sử dụng các dữ liệu đầu vào này để tạo hình ảnh mới dựa trên kiểu đã chỉ định trong hình ảnh tham khảo.

Ví dụ: bạn có thể tạo hình ảnh mới về một căn bếp dựa trên hình ảnh trong danh mục bán lẻ phổ biến mà bạn cung cấp.

Tuỳ chỉnh dựa trên chủ thể

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên chủ thể đã chỉ định.

Cách hoạt động: Bạn cung cấp câu lệnh văn bản và ít nhất một hình ảnh tham khảo cho thấy một chủ thể cụ thể (như sản phẩm, người hoặc thú cưng). Mô hình sử dụng các dữ liệu đầu vào này để tạo hình ảnh mới dựa trên chủ thể đã chỉ định trong hình ảnh tham khảo.

Ví dụ: bạn có thể yêu cầu mô hình áp dụng kiểu hoạt hình cho ảnh của trẻ em hoặc thay đổi màu sắc của chiếc xe đạp trong ảnh.

Tuỳ chỉnh dựa trên nút điều khiển

Bạn có thể chỉnh sửa hoặc tạo hình ảnh dựa trên nút điều khiển đã chỉ định.

Cách hoạt động: Bạn cung cấp câu lệnh văn bản và ít nhất một điều khiển hình ảnh tham khảo (như bản vẽ hoặc hình ảnh cạnh Canny). Mô hình sử dụng các dữ liệu đầu vào này để tạo hình ảnh mới dựa trên hình ảnh nút điều khiển.

Ví dụ: bạn có thể cung cấp cho mô hình bản vẽ về tàu vũ trụ và mặt trăng cùng với câu lệnh dạng văn bản để tạo bức tranh màu nước dựa trên bản vẽ đó.


Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic