مروری بر ویرایش تصاویر با Imagen


فقط در صورت استفاده از Vertex AI Gemini API به عنوان ارائه‌دهنده API در دسترس است.


Firebase AI Logic SDK به شما امکان می دهد به مدل های Imagen (از طریق Imagen API ) دسترسی داشته باشید تا بتوانید تصاویر را با استفاده از یکی از موارد زیر ویرایش کنید:

  • ویرایش مبتنی بر ماسک ، مانند درج و حذف اشیا، گسترش محتوای تصویر فراتر از مرزهای اصلی، و جایگزینی پس‌زمینه

  • گزینه‌های سفارشی‌سازی بر اساس سبک (مانند الگو، بافت، یا سبک هنرمند)، موضوع (مانند محصول، شخص یا حیوان)، یا کنترل (مانند طرحی با دست).

این صفحه هر گزینه ویرایش را در سطح بالایی توصیف می کند. هر گزینه صفحه جداگانه خود را با جزئیات بیشتر و نمونه کد دارد.

مدل هایی که از این قابلیت پشتیبانی می کنند

Imagen ویرایش تصویر را از طریق مدل capability خود ارائه می دهد:

  • imagen-3.0-capability-001

توجه داشته باشید که برای مدل های Imagen ، موقعیت global پشتیبانی نمی شود.

ویرایش مبتنی بر ماسک

ویرایش مبتنی بر ماسک به شما امکان می دهد تغییرات محلی و دقیق را در یک تصویر ایجاد کنید. این مدل به طور انحصاری در یک ناحیه پوشانده شده تعریف شده از تصویر تغییرات ایجاد می کند. ماسک یک پوشش دیجیتالی است که ناحیه خاصی را که می خواهید ویرایش کنید، تعریف می کند. ناحیه ماسک‌شده را می‌توان به‌طور خودکار تشخیص داد و توسط مدل ایجاد کرد یا در تصویر ماسک‌شده‌ای که ارائه می‌دهید تعریف شود. بسته به مورد استفاده، مدل ممکن است به یک پیام متنی نیاز داشته باشد تا بداند چه تغییراتی باید ایجاد کند.

در اینجا موارد استفاده رایج برای ویرایش مبتنی بر ماسک آورده شده است:

درج اشیا (inpainting)

می توانید از inpainting برای درج اشیا در یک تصویر استفاده کنید.

چگونه کار می کند : شما یک تصویر اصلی و یک تصویر پوشانده شده مربوطه را ارائه می دهید - که به طور خودکار ایجاد شده یا توسط شما ارائه شده است - که یک ماسک را در منطقه ای که می خواهید محتوای جدید اضافه کنید، تعریف می کند. شما همچنین یک پیام متنی ارائه می‌دهید که آنچه را که می‌خواهید اضافه کنید، توضیح می‌دهد. سپس مدل محتوای جدیدی را در ناحیه پوشانده شده تولید و اضافه می کند.

به عنوان مثال، می توانید یک میز را بپوشانید و از مدل بخواهید یک گلدان گل اضافه کند.

حذف اشیاء (inpainting)

برای حذف اشیا از یک تصویر می توانید از inpainting استفاده کنید.

چگونه کار می‌کند : شما یک تصویر اصلی و یک تصویر ماسک‌دار مربوطه ارائه می‌دهید - که به‌طور خودکار ایجاد شده یا توسط شما ارائه شده است - که یک ماسک را روی شی یا موضوعی که می‌خواهید حذف کنید، مشخص می‌کند. همچنین می‌توانید به‌صورت اختیاری یک پیام متنی ارائه دهید که توضیح دهد چه چیزی را می‌خواهید حذف کنید، یا مدل می‌تواند به‌طور هوشمندانه تشخیص دهد که کدام شی را حذف کند. سپس مدل شیء را حذف می‌کند و آن ناحیه را با محتوای جدید و متناسب با زمینه پر می‌کند.

به عنوان مثال، می توانید یک توپ را بپوشانید و آن را با یک دیوار خالی یا یک زمین چمن جایگزین کنید.

یک تصویر را فراتر از مرزهای اصلی آن گسترش دهید (نقاشی بیرونی)

می توانید از نقاشی بیرونی برای گسترش یک تصویر فراتر از مرزهای اصلی آن استفاده کنید.

چگونه کار می‌کند : شما یک تصویر اصلی و یک تصویر ماسک‌دار مربوطه را ارائه می‌دهید - که به‌طور خودکار ایجاد شده یا توسط شما ارائه شده است - که ماسکی از ناحیه جدید و گسترده را مشخص می‌کند. همچنین می‌توانید به‌صورت اختیاری یک پیام متنی برای توصیف آنچه می‌خواهید در ناحیه گسترش‌یافته ارائه دهید، یا مدل می‌تواند به طور هوشمند تصمیم بگیرد که چه چیزی منطقاً صحنه موجود را ادامه می‌دهد. مدل محتوای جدید را تولید می کند و ناحیه ماسک شده را پر می کند.

برای مثال، می‌توانید نسبت تصویر را تغییر دهید یا زمینه پس‌زمینه بیشتری اضافه کنید.

پس زمینه را جایگزین کنید

می توانید پس زمینه یک تصویر را جایگزین کنید .

چگونه کار می‌کند : شما یک تصویر اصلی و یک تصویر ماسک‌دار مربوطه ارائه می‌دهید که یک ماسک را روی پس‌زمینه تعریف می‌کند — یا با استفاده از تشخیص خودکار پس‌زمینه یا ارائه ماسک پس‌زمینه. شما همچنین یک پیام متنی ارائه می‌دهید که توضیح می‌دهد چه چیزی را می‌خواهید تغییر دهید. سپس مدل یک پس‌زمینه جدید تولید و اعمال می‌کند.

برای مثال، می‌توانید تنظیمات اطراف یک سوژه یا شی را بدون تأثیر بر پیش‌زمینه (مثلاً در تصویر محصول) تغییر دهید.

سفارشی سازی

سفارشی‌سازی به شما امکان می‌دهد با استفاده از اعلان‌های متنی و تصاویر مرجع که مدل را برای ایجاد یک تصویر جدید بر اساس سبک ، موضوع (مانند یک محصول، شخص یا حیوان)، یا یک کنترل مشخص شده، تصاویر را ویرایش یا تولید کنید.

سفارشی کردن بر اساس یک سبک

شما می توانید تصاویر را بر اساس یک سبک مشخص ویرایش یا تولید کنید .

چگونه کار می کند : شما یک پیام متنی و حداقل یک تصویر مرجع ارائه می دهید که یک سبک خاص (مانند یک الگو، بافت یا سبک طراحی) را نشان می دهد. مدل از این ورودی ها برای تولید یک تصویر جدید بر اساس سبک مشخص شده در تصاویر مرجع استفاده می کند.

به عنوان مثال، می توانید تصویر جدیدی از یک آشپزخانه را بر اساس تصویری از کاتالوگ خرده فروشی محبوبی که ارائه می کنید، ایجاد کنید.

بر اساس یک موضوع سفارشی کنید

می توانید تصاویر را بر اساس موضوع مشخص شده ویرایش یا تولید کنید .

چگونه کار می‌کند : یک پیام متنی و حداقل یک تصویر مرجع ارائه می‌کنید که موضوع خاصی را نشان می‌دهد (مانند یک محصول، شخص یا حیوان همراه). مدل از این ورودی ها برای تولید یک تصویر جدید بر اساس موضوع مشخص شده در تصاویر مرجع استفاده می کند.

به عنوان مثال، می توانید از مدل بخواهید که یک سبک کارتونی را روی عکس کودک اعمال کند یا رنگ دوچرخه را در یک عکس تغییر دهد.

بر اساس یک کنترل سفارشی کنید

می توانید تصاویر را بر اساس یک کنترل مشخص شده ویرایش یا تولید کنید .

چگونه کار می کند : شما یک پیام متنی و حداقل یک تصویر مرجع کنترلی (مانند یک طراحی یا یک تصویر لبه Canny) ارائه می دهید. مدل از این ورودی ها برای تولید یک تصویر جدید بر اساس تصاویر کنترلی استفاده می کند.

به عنوان مثال، می توانید طرحی از کشتی موشکی و ماه را به همراه یک پیام متنی برای ایجاد یک نقاشی آبرنگ بر اساس طرح ارائه دهید.


درباره تجربه خود با Firebase AI Logic بازخورد بدهید