فایل‌های ورودی پشتیبانی‌شده و الزامات

وقتی Gemini API را از برنامه‌تان بااستفاده از کیت توسعه نرم‌افزار Firebase AI Logic فراخوانی می‌کنید، می‌توانید مدل Gemini را ترغیب کنید تا براساس ورودی چندحالته، مثل تصاویر، ویدیو، و صدا، و اسناد (مثل PDF)، نوشتار تولید کند.

باید از انواع فایل پشتیبانی‌شده استفاده کنید، نوع MIME پشتیبانی‌شده‌ای را مشخص کنید، و مطمئن شوید که فایل‌ها و درخواست‌های چندوجهی شما الزامات را برآورده می‌کنند و از رویه‌های مطلوب پیروی می‌کنند.

این صفحه مختص استفاده از GenerativeModel است و موارد زیر را شرح می‌دهد:

گزینه‌های ارائه فایل در درخواست‌های چندوجهی

برای مشاهده محتوای مختص ارائه‌دهنده در این صفحه، ارائه‌دهنده «میانای برنامه‌سازی کاربردی Gemini» خود را انتخاب کنید

در هر درخواست چندوجهی، همیشه باید موارد زیر را ارائه دهید:

اندازه و تعداد فایل‌هایی که می‌توانید در درخواست ارائه دهید توسط نوع فایل ورودی، نحوه ارائه فایل، و مدل استفاده‌شده تعیین می‌شود (برای جزئیات، بخش مربوط به هر نوع فایل ورودی در این صفحه را ببینید).

گزینه ۱: ارائه فایل به‌عنوان داده‌های درون‌خطی

درباره فایل‌هایی که به‌عنوان داده‌های درون‌خطی ارائه می‌شوند، به موارد زیر توجه کنید:

  • فقط فایل‌های کوچک را می‌توان به‌عنوان داده‌های درون‌خطی ارسال کرد زیرا حداکثر اندازه درخواست ۲۰ مگابایت است.

  • فایل درحین انتقال به base64 کدبندی می‌شود (که اندازه فایل را افزایش می‌دهد).

برای دیدن نمونه‌ای از نحوه افزودن فایل به‌عنوان داده‌های درون‌خطی، به تولید نوشتار از ورودی نوشتار و فایل (چندوجهی) مراجعه کنید. توجه داشته باشید که کیت‌های توسعه نرم‌افزار برای پلاتفرم‌های Android و Apple می‌توانند تصاویر درون‌خطی را در درخواست‌ها بدون نیاز به تعیین نوع MIME مدیریت کنند. بیشتر بدانید.

گزینه ۲: ارائه فایل بااستفاده از نشانی وب

در اینجا انواع قابل‌قبول نشانی‌های وب هنگام استفاده از Gemini Developer API آمده است:

  • نشانی وب ویدیو YouTube: ویدیو YouTube باید عمومی یا فهرست‌نشده باشد.

    می‌توانید در هر درخواست یک نشانی وب ویدیو YouTube را مشخص کنید.


تصاویر: الزامات، روال‌های مطلوب، و محدودیت‌ها

تصاویر: الزامات

در این بخش، با انواع MIME پشتیبانی‌شده و محدودیت‌های هر درخواست برای تصاویر آشنا شوید.

انواع MIME پشتیبانی‌شده

‫Gemini مدل چندوجهی از انواع MIME تصویر زیر پشتیبانی می‌کند:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

محدودیت‌ها برای هر درخواست

محدودیت خاصی برای تعداد پیکسل‌های یک تصویر وجود ندارد. بااین‌حال، تصاویر بزرگ‌تر کوچک می‌شوند و حاشیه اضافه می‌شود تا در حداکثر وضوح ۳۰۷۲ × ۳۰۷۲ جا بگیرند و نسبت ابعادی اصلی‌شان حفظ شود.

حداکثر فایل در هر درخواست: ۳٬۰۰۰ فایل تصویری

تصاویر: تبدیل به داده‌واحد

در اینجا نحوه محاسبه نشان‌ها برای تصاویر آمده است:

  • اگر هر دو بُعد تصویر کمتر یا مساوی ۳۸۴ پیکسل باشد، از ۲۵۸ نشانه استفاده می‌شود.
  • اگر یکی از ابعاد تصویر بزرگ‌تر از ۳۸۴ پیکسل باشد، تصویر به کاشی‌های کوچک برش داده می‌شود. اندازه هر کاشی به‌طور پیش‌فرض کوچک‌ترین ابعاد (عرض یا ارتفاع) تقسیم بر ۱٫۵ است. درصورت لزوم، هر کاشی به‌گونه‌ای تنظیم می‌شود که کوچک‌تر از ۲۵۶ پیکسل و بزرگ‌تر از ۷۶۸ پیکسل نباشد. سپس اندازه هر کاشی به ۷۶۸x۷۶۸ تغییر می‌کند و از ۲۵۸ کد استفاده می‌کند.

تصاویر: روال‌های مطلوب

هنگام استفاده از تصاویر، از روش‌های مطلوب و اطلاعات زیر برای بهترین نتایج استفاده کنید:

  • اگر می‌خواهید نوشتار را در تصویری تشخیص دهید، از پیام‌واره‌های دارای یک تصویر استفاده کنید تا نتایج بهتری نسبت‌به پیام‌واره‌های دارای چند تصویر تولید کنید.
  • اگر پیام‌واره‌تان حاوی یک تصویر است، تصویر را قبل‌از پیام‌واره نوشتاری در درخواستتان قرار دهید.
  • اگر پیام‌واره شما حاوی چندین تصویر است و می‌خواهید بعداً در پیام‌واره خود به آن‌ها ارجاع دهید یا مدل در پاسخ مدل به آن‌ها ارجاع دهد، می‌توانید قبل‌از هر تصویر یک شاخص به آن اختصاص دهید. از a b c یا image 1 image 2 image 3 برای نمایه خود استفاده کنید. در زیر نمونه‌ای از استفاده از تصاویر نمایه‌گذاری‌شده در پیام‌واره آمده است: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • از تصاویر با وضوح بالاتر استفاده کنید؛ این تصاویر نتایج بهتری ارائه می‌دهند.
  • چند نمونه در پیام‌واره بگنجانید.
  • پیش‌از افزودن تصاویر به پیام‌واره، آن‌ها را به جهت صحیح بچرخانید.
  • از تصاویر تار استفاده نکنید.

تصاویر: محدودیت‌ها

اگرچه مدل‌های چندوجهی Gemini در بسیاری از موارد استفاده چندوجهی قدرتمند هستند، مهم است که محدودیت‌های این مدل‌ها را بدانید:

  • گردانندگی محتوا: مدل‌ها از ارائه پاسخ درباره تصاویری که خط‌مشی‌های ایمنی ما را نقض می‌کنند خودداری می‌کنند.
  • استدلال فضایی: مدل‌ها در مکان‌یابی نوشتار یا اشیا در تصاویر دقیق نیستند. ممکن است فقط تعداد تقریبی اشیا را برگرداند.
  • کاربردهای پزشکی: این مدل‌ها برای تفسیر تصاویر پزشکی (برای مثال، عکس‌های رادیولوژی و اسکن‌های سی‌تی) یا ارائه مشاوره پزشکی مناسب نیستند.
  • تشخیص افراد: مدل‌ها برای شناسایی افرادی که در تصاویر مشهور نیستند طراحی نشده‌اند.
  • دقت: مدل‌ها ممکن است هنگام تفسیر تصاویر بی‌کیفیت، چرخانده‌شده، یا با وضوح بسیار پایین دچار توهم یا اشتباه شوند. مدل‌ها ممکن است هنگام تفسیر نوشتار دست‌نویس در اسناد تصویری نیز دچار توهم شوند.


ویدیو: الزامات، روال‌های مطلوب، و محدودیت‌ها

ویدیو: الزامات

در این بخش، با انواع MIME پشتیبانی‌شده و محدودیت‌های هر درخواست برای ویدیو آشنا شوید.

انواع MIME پشتیبانی‌شده

‫Gemini مدل چندوجهی از انواع MIME ویدیو زیر پشتیبانی می‌کند:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • ‫MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • مایل در هر گالن - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • ‫3GPP - video/3gpp

محدودیت‌ها برای هر درخواست

حداکثر فایل در هر درخواست: ۱۰ فایل ویدیویی

ویدیو: تبدیل به داده‌واحد

در اینجا نحوه محاسبه نشان‌ها برای ویدیو آمده است:

  • قطعه صوتی با قاب‌های ویدیو کدبندی شده است. قطعه صوتی نیز به تکه‌های ۱ ثانیه‌ای تقسیم می‌شود که هرکدام ۳۲ کد را دربرمی‌گیرد. قاب ویدیو و نشان‌های صوتی با مُهرهای زمانشان با هم درهم‌آمیخته می‌شوند. مُهرهای زمان به‌صورت ۵ کد نشان داده می‌شوند.
  • برای ویدیوهایی که با نرخ ۱ فریم در ثانیه (fps) یا کمتر نمونه‌برداری می‌شوند، مُهرهای زمان برای ساعت اول ویدیو به‌صورت ۵ کد در هر فریم ویدیو نشان داده می‌شوند. مُهرهای زمان باقی‌مانده به‌صورت ۷ کد در هر قاب ویدیو نشان داده می‌شوند.
  • برای ویدیوهایی که با نرخ نمونه‌برداری بالاتر از ۱ فریم در ثانیه (fps) نمونه‌برداری می‌شوند، مُهرهای زمان برای ساعت اول ویدیو به‌صورت ۹ کد برای هر فریم ویدیو نمایش داده می‌شوند. مُهرهای زمان باقی‌مانده به‌صورت ۱۱ کد در هر قاب ویدیو نشان داده می‌شوند.

ویدیو: روال‌های مطلوب

هنگام استفاده از ویدیو، از روال‌های مطلوب و اطلاعات زیر برای بهترین نتایج استفاده کنید:

  • اگر پیام‌واره شما حاوی یک ویدیو است، ویدیو را قبل‌از پیام‌واره نوشتاری قرار دهید.
  • اگر در ویدیویی با صدا به بومی‌سازی مُهر زمان نیاز دارید، از مدل بخواهید مُهرهای زمانی تولید کند که از قالب شرح‌داده‌شده در «قالب مُهر زمان» پیروی کند.

ویدیو: محدودیت‌ها

اگرچه مدل‌های چندوجهی Gemini در بسیاری از موارد استفاده چندوجهی قدرتمند هستند، مهم است که محدودیت‌های این مدل‌ها را بدانید:

  • گردانندگی محتوا: مدل‌ها از ارائه پاسخ درباره ویدیوهایی که خط‌مشی‌های ایمنی ما را نقض می‌کنند خودداری می‌کنند.
  • تشخیص صدای غیرگفتاری: مدل‌هایی که از صدا پشتیبانی می‌کنند ممکن است در تشخیص صداهای غیرگفتاری اشتباه کنند.


صدا: الزامات و محدودیت‌ها

صدا: الزامات

در این بخش، با انواع MIME پشتیبانی‌شده و محدودیت‌های هر درخواست برای صوت آشنا شوید.

انواع MIME پشتیبانی‌شده

‫Gemini مدل چندوجهی از انواع MIME صوتی زیر پشتیبانی می‌کند:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • ‫MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

محدودیت‌ها برای هر درخواست

حداکثر فایل در هر درخواست: ۱ فایل صوتی

صدا: محدودیت‌ها

اگرچه مدل‌های چندوجهی Gemini در بسیاری از موارد استفاده چندوجهی قدرتمند هستند، مهم است که محدودیت‌های این مدل‌ها را بدانید:

  • تشخیص صدای غیرگفتاری: مدل‌هایی که از صدا پشتیبانی می‌کنند ممکن است در تشخیص صداهای غیرگفتاری اشتباه کنند.
  • مُهرهای زمان فقط صوتی: برای تولید دقیق مُهرهای زمان برای فایل‌های فقط صوتی، باید پارامتر audio_timestamp را در generation_config پیکربندی کنید.


اسناد (مانند PDF): الزامات، روال‌های مطلوب، و محدودیت‌ها

اسناد: الزامات

در این بخش، با انواع MIME پشتیبانی‌شده و محدودیت‌های هر درخواست برای سندها (مثل PDF) آشنا شوید.

انواع MIME پشتیبانی‌شده

مدل‌های چندوجهی Gemini از انواع MIME سند زیر پشتیبانی می‌کنند:

  • ‫PDF - application/pdf
  • نوشتار - text/plain

محدودیت‌ها برای هر درخواست

با فایل‌های PDF به‌عنوان تصویر رفتار می‌شود، بنابراین با یک صفحه از فایل PDF به‌عنوان یک تصویر رفتار می‌شود. تعداد صفحه‌های مجاز در پیام‌واره به تعداد تصاویری که مدل‌های چندوجهی Gemini می‌توانند پشتیبانی کنند محدود است.

  • حداکثر فایل در هر درخواست: ۳٬۰۰۰ فایل
  • حداکثر صفحات در هر فایل: ۱٬۰۰۰ صفحه در هر فایل
  • حداکثر اندازه هر فایل: ۵۰ مگابایت برای هر فایل

اسناد: تبدیل به داده‌واحد

نشانه‌گذاری PDF

با فایل‌های پی‌دی‌اف مثل تصویر رفتار می‌شود، بنابراین هر صفحه از فایل پی‌دی‌اف به همان روش تصویر نشانه‌گذاری می‌شود.

همچنین، هزینه فایل‌های PDF از قیمت‌گذاری تصویر Gemini پیروی می‌کند. برای مثال، اگر فایل PDF دو صفحه‌ای را در فراخوانی Gemini API بگنجانید، کارمزد ورودی پردازش دو تصویر را متحمل می‌شوید.

اسناد: روال‌های مطلوب

هنگام استفاده از فایل‌های PDF، از روال‌های مطلوب و اطلاعات زیر برای بهترین نتایج استفاده کنید:

  • اگر پیام‌واره‌تان حاوی یک PDF است، PDF را قبل‌از پیام‌واره نوشتاری در درخواستتان قرار دهید.
  • اگر سند طولانی دارید، آن را به چند فایل PDF تقسیم کنید تا پردازش شود.
  • از فایل‌های PDF ساخته‌شده با نوشتاری که به‌صورت نوشتار پرداز شده است به‌جای استفاده از نوشتار در تصاویر اسکن‌شده استفاده کنید. این قالب تضمین می‌کند که نوشتار برای ماشین خوانا باشد تا مدل بتواند آن را راحت‌تر از فایل‌های PDF تصویری اسکن‌شده ویرایش، جستجو، و دستکاری کند. این روش هنگام کار با اسناد متن‌محور مانند قراردادها نتایج بهینه ارائه می‌دهد.

اسناد: محدودیت‌ها

اگرچه مدل‌های چندوجهی Gemini در بسیاری از موارد استفاده چندوجهی قدرتمند هستند، مهم است که محدودیت‌های این مدل‌ها را بدانید:

  • استدلال فضایی: مدل‌ها در مکان‌یابی نوشتار یا اشیا در فایل‌های PDF دقیق نیستند. ممکن است فقط تعداد تقریبی اشیا را برگرداند.
  • دقت: مدل‌ها ممکن است هنگام تفسیر نوشتار دست‌نویس در اسناد PDF دچار توهم شوند.