ملفات الإدخال والمتطلبات المتوافقة

عند استدعاء Gemini API من تطبيقك باستخدام حزمة تطوير البرامج (SDK) لـ Firebase AI Logic، يمكنك توجيه نموذج Gemini لإنشاء نصّ من إنشاء الذكاء الاصطناعي استنادًا إلى إدخال متعدد الوسائط، مثل الصور والفيديو والصوت والمستندات (مثل ملفات PDF).

يجب استخدام أنواع ملفات متوافقة، وتحديد نوع MIME متوافق، والتأكّد من أنّ ملفاتك وطلباتك المتعددة الوسائط تستوفي المتطلبات وتتّبع أفضل الممارسات.

هذه الصفحة مخصّصة لاستخدام GenerativeModel وتوضّح ما يلي:

خيارات تقديم الملفات في الطلبات المتعددة الوسائط

اختيار مقدّم خدمة Gemini API لعرض المحتوى الخاص به على هذه الصفحة

في كل طلب متعدد الوسائط، يجب دائمًا تقديم ما يلي:

يتم تحديد حجم وعدد الملفات التي يمكنك تقديمها في الطلب من خلال نوع ملف الإدخال، وكيفية تقديم الملف، والنموذج المستخدَم (للاطّلاع على التفاصيل، يُرجى مراجعة قسم كل نوع ملف إدخال في هذه الصفحة).

الخيار 1: تقديم الملف كبيانات مضمّنة

يُرجى مراعاة ما يلي في ما يتعلّق بالملفات المقدَّمة كبيانات مضمّنة:

  • يمكن إرسال الملفات الصغيرة فقط كبيانات مضمّنة لأنّ الحد الأقصى لإجمالي حجم الطلب هو 20 ميغابايت.

  • يتم ترميز الملف إلى base64 أثناء النقل (ما يؤدي إلى زيادة حجم الملف).

للاطّلاع على مثال يوضّح كيفية تضمين ملف كبيانات مضمّنة، يُرجى مراجعة القسم إنشاء نصّ من إنشاء الذكاء الاصطناعي من إدخال نص وملف (متعدد الوسائط). يُرجى العِلم أنّ حِزم تطوير البرامج (SDK) لمنصّات Android وApple يمكنها معالجة الصور المضمّنة في الطلبات بدون الحاجة إلى تحديد نوع MIME. مزيد من المعلومات

الخيار 2: تقديم الملف باستخدام عنوان URL

في ما يلي أنواع عناوين URL المقبولة عند استخدام Gemini Developer API:

  • عنوان URL للفيديو على YouTube: يجب أن يكون الفيديو على YouTube علنيًا أو غير مُدرَج.

    يمكنك تحديد عنوان URL واحد لفيديو على YouTube لكل طلب.


الصور: المتطلبات وأفضل الممارسات والقيود

الصور: المتطلبات

في هذا القسم، يمكنك التعرّف على أنواع MIME المتوافقة والحدود القصوى لكل طلب للصور.

أنواع MIME المتوافقة

تتوافق نماذج Gemini المتعددة الوسائط مع أنواع MIME التالية للصور:

  • ‫PNG‏ - image/png
  • JPEG - image/jpeg
  • ‫WebP - image/webp

الحدود لكل طلب

ما مِن حدّ أقصى لعدد وحدات البكسل في الصورة. ومع ذلك، يتم تصغير الصور الأكبر حجمًا وإضافة مساحة فارغة إليها لتناسب الحد الأقصى للدقة وهو 3072 × 3072 مع الحفاظ على نسبة العرض إلى الارتفاع الأصلية.

الحد الأقصى لعدد الملفات لكل طلب: 3,000 ملف صورة

الصور: إنشاء الرموز المميّزة

في ما يلي كيفية احتساب الرموز المميّزة للصور:

  • إذا كان كلا بُعدَي الصورة أقل من أو يساوي 384 بكسل، يتم استخدام 258 رمزًا مميزًا.
  • إذا كان أحد أبعاد الصورة أكبر من 384 بكسل، يتم اقتصاص الصورة إلى مربّعات. يتم ضبط حجم كل مربّع تلقائيًا على أصغر بُعد (العرض أو الارتفاع) مقسومًا على 1.5. إذا لزم الأمر، يتم تعديل كل مربّع بحيث لا يقل حجمه عن 256 بكسل ولا يزيد عن 768 بكسل. بعد ذلك، يتم تغيير حجم كل مربّع إلى 768×768 ويستخدم 258 رمزًا مميزًا.

الصور: أفضل الممارسات

عند استخدام الصور، اتّبِع أفضل الممارسات والمعلومات التالية للحصول على أفضل النتائج:

  • إذا أردت رصد نص في صورة، استخدِم طلبات تتضمّن صورة واحدة للحصول على نتائج أفضل من الطلبات التي تتضمّن صورًا متعددة.
  • إذا كان طلبك يحتوي على صورة واحدة، ضَع الصورة قبل الطلب النصي في طلبك.
  • إذا كان طلبك يحتوي على صور متعددة، وأردت الإشارة إليها لاحقًا في طلبك أو جعل النموذج يشير إليها في ردّه، يمكنك إعطاء كل صورة فهرسًا قبل الصورة. استخدِم a b c أو image 1 image 2 image 3 للفهرس. في ما يلي مثال على استخدام الصور المفهرَسة في طلب: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • استخدِم صورًا بدقة أعلى، لأنّها تحقّق نتائج أفضل.
  • أدرِج بضعة أمثلة في الطلب.
  • يُرجى تدوير الصور إلى الاتجاه الصحيح قبل إضافتها إلى الطلب.
  • تجنَّب استخدام الصور المموّهة.

الصور: القيود

على الرغم من أنّ نماذج Gemini المتعددة الوسائط فعّالة في العديد من حالات الاستخدام المتعددة الوسائط، من المهم فهم القيود التي تحد من إمكانات هذه النماذج:

  • الإشراف على المحتوى: ترفض النماذج تقديم إجابات عن الصور التي تنتهك سياسات الأمان لدينا.
  • الاستدلال المكاني: لا تحدّد النماذج بدقة مكان النصوص أو العناصر في الصور. وقد تعرض فقط الأعداد التقريبية للعناصر.
  • الاستخدامات الطبية: لا تصلح النماذج لتفسير الصور الطبية (مثل الأشعة السينية والأشعة المقطعية) أو تقديم المشورة الطبية.
  • التعرّف على الأشخاص: لا يُفترض استخدام النماذج للتعرّف على الأشخاص غير المشاهير في الصور.
  • الدقة: قد تنشئ النماذج ردودًا غير صحيحة أو ترتكب أخطاء عند تفسير الصور المنخفضة الجودة أو التي تم تدويرها أو ذات الدقة المنخفضة جدًا. قد تنشئ النماذج أيضًا معلومات خاطئة عند تفسير النص المكتوب بخط اليد في مستندات الصور.


الفيديو: المتطلبات وأفضل الممارسات والقيود

الفيديو: المتطلبات

في هذا القسم، يمكنك التعرّف على أنواع MIME المتوافقة والحدود القصوى لكل طلب فيديو.

أنواع MIME المتوافقة

تتوافق نماذج Gemini المتعدّدة الوسائط مع أنواع MIME التالية للفيديوهات:

  • FLV - video/x-flv
  • ‫MOV - video/quicktime
  • MPEG - video/mpeg
  • ‫MPEGPS‏ - video/mpegps
  • الأميال لكل غالون - video/mpg
  • ‫MP4 - ‏video/mp4
  • ‫WEBM - video/webm
  • ‫WMV - ‏video/wmv
  • ‫3GPP - ‏video/3gpp

الحدود لكل طلب

الحدّ الأقصى لعدد الملفات لكل طلب: 10 ملفات فيديو

الفيديو: إنشاء الرموز المميّزة

في ما يلي كيفية احتساب الرموز المميّزة للفيديو:

  • يتم ترميز المقطع الصوتي باستخدام إطارات الفيديو. يتم أيضًا تقسيم المقطع الصوتي إلى أجزاء مدتها ثانية واحدة، يمثّل كل منها 32 رمزًا مميزًا. يتم تداخل رموز إطارات الفيديو والرموز الصوتية مع طوابعها الزمنية. يتم تمثيل الطوابع الزمنية على شكل 5 رموز مميّزة.
  • بالنسبة إلى الفيديوهات التي يتم أخذ عيّنات منها بمعدّل لقطة واحدة في الثانية أو أقل، يتم تمثيل الطوابع الزمنية للساعة الأولى من الفيديو على شكل 5 رموز مميّزة لكل إطار فيديو. يتم تمثيل الطوابع الزمنية المتبقية على شكل 7 رموز مميّزة لكل إطار فيديو.
  • بالنسبة إلى الفيديوهات التي يتم أخذ عيّنات منها بمعدّل أعلى من لقطة واحدة في الثانية، يتم تمثيل الطوابع الزمنية للساعة الأولى من الفيديو على شكل 9 رموز مميّزة لكل إطار فيديو. يتم تمثيل الطوابع الزمنية المتبقية على شكل 11 رمزًا مميزًا لكل إطار فيديو.

الفيديو: أفضل الممارسات

عند استخدام الفيديو، اتبع أفضل الممارسات والمعلومات التالية للحصول على أفضل النتائج:

  • إذا كان طلبك يحتوي على فيديو واحد، ضَع الفيديو قبل الطلب النصي.
  • إذا كنت بحاجة إلى ترجمة الطوابع الزمنية في فيديو يتضمّن صوتًا، اطلب من النموذج إنشاء طوابع زمنية تتّبع التنسيق الموضّح في "تنسيق الطابع الزمني".

فيديو: القيود

على الرغم من أنّ نماذج Gemini المتعددة الوسائط فعّالة في العديد من حالات الاستخدام المتعددة الوسائط، من المهم فهم القيود التي تحد من إمكانات هذه النماذج:

  • الإشراف على المحتوى: ترفض النماذج تقديم إجابات عن الفيديوهات التي تخالف سياسات الأمان لدينا.
  • التعرّف على الأصوات غير الكلامية: قد تخطئ النماذج التي تتيح الصوت في التعرّف على الصوت غير الكلامي.


الملفات الصوتية: المتطلبات والقيود

الصوت: المتطلبات

في هذا القسم، يمكنك التعرّف على أنواع MIME المتوافقة والحدود القصوى لكل طلب للملفات الصوتية.

أنواع MIME المتوافقة

تتوافق نماذج Gemini المتعددة الوسائط مع أنواع MIME الصوتية التالية:

  • ‫AAC - audio/aac
  • ‫FLAC - ‏audio/flac
  • ‫MP3 - ‏audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • ‫MP4 - ‏audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • ‫WEBM - audio/webm

الحدود لكل طلب

الحدّ الأقصى لعدد الملفات لكل طلب: ملف صوتي واحد

الصوت: القيود

على الرغم من أنّ نماذج Gemini المتعددة الوسائط فعّالة في العديد من حالات الاستخدام المتعددة الوسائط، من المهم فهم القيود التي تحد من إمكانات هذه النماذج:

  • التعرّف على الأصوات غير الكلامية: قد تخطئ النماذج التي تتيح الصوت في التعرّف على الصوت غير الكلامي.
  • الطوابع الزمنية للملفات الصوتية فقط: لإنشاء طوابع زمنية دقيقة للملفات الصوتية فقط، يجب ضبط المَعلمة audio_timestamp في generation_config.


المستندات (مثل ملفات PDF): المتطلبات وأفضل الممارسات والقيود

المستندات: المتطلبات

في هذا القسم، يمكنك التعرّف على أنواع MIME المتوافقة والحدود القصوى لكل طلب للمستندات (مثل ملفات PDF).

أنواع MIME المتوافقة

تتوافق النماذج المتعددة الوسائط Gemini مع أنواع MIME التالية للمستندات:

  • ملف PDF - ‏application/pdf
  • النص - text/plain

الحدود لكل طلب

يتم التعامل مع ملفات PDF على أنّها صور، لذا يتم التعامل مع صفحة واحدة من ملف PDF على أنّها صورة واحدة. يقتصر عدد الصفحات المسموح بها في الطلب على عدد الصور التي يمكن أن تتوافق معها نماذج Gemini المتعددة الوسائط.

  • الحد الأقصى لعدد الملفات لكل طلب: 3,000 ملف
  • الحد الأقصى لعدد الصفحات في كل ملف: 1,000 صفحة
  • الحدّ الأقصى لحجم الملف الواحد: 50 ميغابايت

المستندات: إنشاء الرموز المميّزة

تحويل ملفات PDF إلى رموز مميّزة

يتم التعامل مع ملفات PDF كصور، لذا يتم تحويل كل صفحة من ملف PDF إلى رموز مميّزة بالطريقة نفسها التي يتم بها تحويل الصورة.

بالإضافة إلى ذلك، يتم احتساب تكلفة ملفات PDF وفقًا لأسعار الصور في Gemini. على سبيل المثال، إذا أرسلت ملف PDF من صفحتَين في طلب بيانات من واجهة برمجة التطبيقات Gemini، سيتم تحصيل رسوم إدخال مقابل معالجة صورتَين.

"مستندات Google": أفضل الممارسات

عند استخدام ملفات PDF، اتّبِع أفضل الممارسات والمعلومات التالية للحصول على أفضل النتائج:

  • إذا كان طلبك يحتوي على ملف PDF واحد، ضَع ملف PDF قبل الطلب النصي في طلبك.
  • إذا كان لديك مستند طويل، ننصحك بتقسيمه إلى ملفات PDF متعددة لمعالجته.
  • استخدِم ملفات PDF التي تم إنشاؤها باستخدام نص معروض كنص بدلاً من استخدام النص في الصور الممسوحة ضوئيًا. يضمن هذا التنسيق أن يكون النص يمكن معالجتها آليًا، ما يسهّل على النموذج تعديله والبحث فيه ومعالجته مقارنةً بملفات PDF التي تحتوي على صور ممسوحة ضوئيًا. توفّر هذه الممارسة أفضل النتائج عند العمل مع مستندات تحتوي على نصوص كثيرة مثل العقود.

المستندات: القيود

على الرغم من أنّ نماذج Gemini المتعددة الوسائط فعّالة في العديد من حالات الاستخدام المتعددة الوسائط، من المهم فهم القيود التي تحد من إمكانات هذه النماذج:

  • الاستدلال المكاني: لا تحدّد النماذج بدقة مكان النصوص أو العناصر في ملفات PDF. وقد تعرض فقط الأعداد التقريبية للعناصر.
  • الدقة: قد تقدّم النماذج معلومات خاطئة عند تفسير النصوص المكتوبة بخط اليد في مستندات PDF.