مروری بر ویرایش تصاویر با Imagen


فقط زمانی در دسترس است که از Vertex AI Gemini API به عنوان ارائه دهنده API خود استفاده کنید.


کیت‌های توسعه نرم‌افزار (SDK) فایربیس آی لاجیک (Firebase AI Logic) به شما امکان دسترسی به مدل‌های ایمجین (Imagen) را می‌دهند (از طریق رابط برنامه‌نویسی نرم‌افزار ایمجین ) تا بتوانید تصاویر را با استفاده از یکی از روش‌های زیر ویرایش کنید:

  • ویرایش مبتنی بر ماسک ، مانند درج و حذف اشیاء، گسترش محتوای تصویر فراتر از مرزهای اصلی و جایگزینی پس‌زمینه‌ها

  • گزینه‌های سفارشی‌سازی بر اساس سبک (مانند الگو، بافت یا سبک هنرمند)، موضوع (مانند محصول، شخص یا حیوان) یا کنترل (مانند یک طرح دستی).

این صفحه هر گزینه ویرایش را در سطح بالایی توضیح می‌دهد. هر گزینه صفحه جداگانه‌ای با جزئیات بیشتر و نمونه‌های کد دارد.

مدل‌هایی که از این قابلیت پشتیبانی می‌کنند

ایمیجِن ویرایش تصویر را از طریق مدل capability خود ارائه می‌دهد:

  • imagen-3.0-capability-001

توجه داشته باشید که برای مدل‌های Imagen ، موقعیت مکانی global پشتیبانی نمی‌شود .

ویرایش مبتنی بر ماسک

ویرایش مبتنی بر ماسک به شما امکان می‌دهد تغییرات موضعی و دقیقی را در یک تصویر ایجاد کنید. مدل، تغییرات را منحصراً در یک ناحیه ماسک‌شده تعریف‌شده از تصویر اعمال می‌کند. ماسک یک پوشش دیجیتالی است که ناحیه خاصی را که می‌خواهید ویرایش کنید، تعریف می‌کند. ناحیه ماسک‌شده می‌تواند یا به‌طور خودکار توسط مدل شناسایی و ایجاد شود یا در یک تصویر ماسک‌شده که شما ارائه می‌دهید، تعریف شود. بسته به مورد استفاده، مدل ممکن است برای اطلاع از اینکه چه تغییراتی باید ایجاد شود، به یک اعلان متنی نیاز داشته باشد.

موارد استفاده رایج برای ویرایش مبتنی بر ماسک عبارتند از:

درج اشیاء (رنگ‌آمیزی)

شما می‌توانید از inpainting برای وارد کردن اشیاء به تصویر استفاده کنید.

نحوه کار : شما یک تصویر اصلی و یک تصویر ماسک‌شده‌ی مربوطه - که یا به صورت خودکار تولید شده یا توسط شما ارائه شده است - ارائه می‌دهید که یک ماسک را روی ناحیه‌ای که می‌خواهید محتوای جدید اضافه کنید، تعریف می‌کند. همچنین یک متن راهنما ارائه می‌دهید که آنچه را که می‌خواهید اضافه کنید، توصیف می‌کند. سپس مدل محتوای جدید را در ناحیه ماسک‌شده تولید و اضافه می‌کند.

برای مثال، می‌توانید یک میز را ماسک کنید و از مدل بخواهید گلدانی از گل‌ها را به آن اضافه کند.

حذف اشیاء (رنگ‌آمیزی)

شما می‌توانید از inpainting برای حذف اشیاء از یک تصویر استفاده کنید.

نحوه کار : شما یک تصویر اصلی و یک تصویر ماسک‌شده مربوطه - چه به صورت خودکار تولید شده باشد و چه توسط شما ارائه شده باشد - ارائه می‌دهید که ماسکی را روی شیء یا موضوعی که می‌خواهید حذف کنید، تعریف می‌کند. همچنین می‌توانید به صورت اختیاری یک متن راهنما ارائه دهید که آنچه را که می‌خواهید حذف کنید، شرح دهد، یا مدل می‌تواند به طور هوشمند تشخیص دهد کدام شیء را باید حذف کند. سپس مدل شیء را حذف کرده و ناحیه را با محتوای جدید و متناسب با متن پر می‌کند.

برای مثال، می‌توانید یک توپ را بپوشانید و آن را با یک دیوار خالی یا یک زمین چمن جایگزین کنید.

گسترش تصویر فراتر از مرزهای اصلی آن (outpainting)

شما می‌توانید از outpainting برای گسترش یک تصویر فراتر از مرزهای اصلی آن استفاده کنید.

نحوه کار : شما یک تصویر اصلی و یک تصویر ماسک‌شده مربوطه - چه به صورت خودکار تولید شده و چه توسط شما ارائه شده باشد - ارائه می‌دهید که ماسکی از ناحیه جدید و گسترش‌یافته را تعریف می‌کند. همچنین می‌توانید به صورت اختیاری یک متن راهنما ارائه دهید که آنچه را که در ناحیه گسترش‌یافته می‌خواهید توصیف کند، یا مدل می‌تواند هوشمندانه تصمیم بگیرد که چه چیزی به طور منطقی صحنه موجود را ادامه خواهد داد. مدل محتوای جدید را تولید می‌کند و ناحیه ماسک‌شده را پر می‌کند.

برای مثال، می‌توانید نسبت ابعاد تصویر را تغییر دهید یا زمینه پس‌زمینه بیشتری اضافه کنید.

جایگزین کردن پس‌زمینه

می‌توانید پس‌زمینه یک تصویر را جایگزین کنید .

نحوه کار : شما یک تصویر اصلی و یک تصویر ماسک‌شده‌ی مربوطه را ارائه می‌دهید که یک ماسک روی پس‌زمینه تعریف می‌کند - یا با استفاده از تشخیص خودکار پس‌زمینه یا ارائه ماسک پس‌زمینه توسط خودتان. همچنین یک متن راهنما ارائه می‌دهید که آنچه را که می‌خواهید تغییر دهید شرح می‌دهد. سپس مدل یک پس‌زمینه جدید تولید و اعمال می‌کند.

برای مثال، می‌توانید تنظیمات اطراف یک سوژه یا شیء را بدون تأثیر بر پیش‌زمینه تغییر دهید (مثلاً در تصویر یک محصول).

سفارشی‌سازی

سفارشی‌سازی به شما امکان می‌دهد تصاویر را با استفاده از پیام‌های متنی و تصاویر مرجع ویرایش یا تولید کنید که مدل را برای تولید تصویر جدید بر اساس یک سبک ، موضوع (مانند یک محصول، شخص یا حیوان) مشخص یا یک کنترل هدایت می‌کنند.

سفارشی‌سازی بر اساس یک سبک

شما می‌توانید تصاویر را بر اساس یک سبک مشخص ویرایش یا تولید کنید .

نحوه کار : شما یک متن و حداقل یک تصویر مرجع که یک سبک خاص (مانند الگو، بافت یا سبک طراحی) را نشان می‌دهد، ارائه می‌دهید. مدل از این ورودی‌ها برای تولید یک تصویر جدید بر اساس سبک مشخص شده در تصاویر مرجع استفاده می‌کند.

برای مثال، می‌توانید بر اساس تصویری از یک کاتالوگ خرده‌فروشی محبوب که ارائه می‌دهید، تصویر جدیدی از یک آشپزخانه ایجاد کنید.

سفارشی‌سازی بر اساس یک موضوع

شما می‌توانید تصاویر را بر اساس یک موضوع مشخص ویرایش یا تولید کنید .

نحوه کار : شما یک متن و حداقل یک تصویر مرجع که یک موضوع خاص (مانند یک محصول، شخص یا حیوان همراه) را نشان می‌دهد، ارائه می‌دهید. مدل از این ورودی‌ها برای تولید یک تصویر جدید بر اساس موضوع مشخص شده در تصاویر مرجع استفاده می‌کند.

برای مثال، می‌توانید از مدل بخواهید که یک سبک کارتونی را روی عکس یک کودک اعمال کند یا رنگ دوچرخه را در یک تصویر تغییر دهد.

سفارشی‌سازی بر اساس یک کنترل

شما می‌توانید تصاویر را بر اساس یک کنترل مشخص شده ویرایش یا تولید کنید .

نحوه کار : شما یک متن و حداقل یک تصویر مرجع کنترل (مانند یک نقاشی یا تصویر Canny edge) ارائه می‌دهید. مدل از این ورودی‌ها برای تولید یک تصویر جدید بر اساس تصاویر کنترل استفاده می‌کند.

برای مثال، می‌توانید طرحی از یک موشک و ماه را به همراه یک متن برای مدل فراهم کنید تا بر اساس آن طرح، یک نقاشی آبرنگ بکشد.


درباره تجربه خود با Firebase AI Logic بازخورد دهید