إنشاء نص من طلبات متعدّدة الوسائط باستخدام Gemini API


عند طلب الرقم Gemini API من تطبيقك باستخدام حزمة تطوير برامج (SDK) Vertex AI in Firebase، يمكنك أن تطلب من نموذج Gemini إنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمن الطلبات المتعددة الوسائط عدة طُرق (أو أنواع إدخال) مثل النصوص مع الصور وملفات PDF والفيديو والصوت.

لاختبار الطلبات المتعدّدة الوسائط وتكرارها، ننصحك باستخدام Vertex AI Studio

قبل البدء

يُرجى إكمال دليل بدء استخدام حِزم تطوير البرامج (SDK) لنظام التشغيل Vertex AI in Firebase إذا لم يسبق لك ذلك. تأكَّد من تنفيذ كلّ ما يلي:

  1. إعداد مشروع جديد أو حالي على Firebase، بما في ذلك استخدام خطط أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة

  2. يمكنك ربط تطبيقك بمنصة Firebase، بما في ذلك تسجيل تطبيقك وإضافة تهيئة Firebase لتطبيقك.

  3. أضِف حزمة تطوير البرامج (SDK) وابدأ إعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.

بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد Vertex AI الخدمة والنموذج التوليدي، أصبحت جاهزًا للاتصال بـ Gemini API.

إنشاء نص من نص وصورة واحدة

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وملف واحد (مثل صورة، كما هو موضّح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الرد (generateContentStream) أو الانتظار. للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البث

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.

بدون بث

ويمكنك بدلاً من ذلك انتظار النتيجة كاملة بدلاً من البث. الـ لا يتم عرض النتيجة إلا بعد إكمال النموذج لعملية الإنشاء الدفع.

تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.

إنشاء نص من نص وصور متعددة

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك استدعاء Gemini API باستخدام طلبات متعددة الوسائط التي تتضمّن كلّ من النصوص والملفات المتعددة (مثل الصور، كما هو موضّح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الرد (generateContentStream) أو الانتظار. للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البث

ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.

بدون بث

أو بدلاً من ذلك، يمكنك انتظار النتيجة بأكملها بدلاً من البث فلن يتم إرجاع النتيجة إلا بعد أن يكمل النموذج عملية عملية الإنشاء.

تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.

إنشاء نص من نص وفيديو

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وفيديو واحد (كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

احرص على مراجعة المتطلبات والتوصيات لملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البث

ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.

بدون بث

بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق

المتطلبات والاقتراحات المتعلّقة بملفات الإدخال

للتعرّف على أنواع الملفات المتوافقة وكيفية تحديد نوع MIME وكيفية التأكّد من أنّ ملفاتك وطلباتك المتعدّدة الوسائط تستوفي المتطلبات وتتّبع أفضل الممارسات، يُرجى الاطّلاع على ملفات الإدخال المتوافقة ومتطلبات Vertex AI Gemini API.

ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟

  • تعرَّف على كيفية احتساب الرموز المميّزة. قبل إرسال مطالبات طويلة إلى النموذج.
  • إعداد "Cloud Storage for Firebase" بحيث يمكنك تضمين الملفات الكبيرة في الطلبات المتعددة الوسائط باستخدام Cloud Storage عنوان URL. يمكن أن تتضمن الملفات صورًا وملفات PDF وفيديو وصوتًا.
  • ابدأ بالتفكير في التحضير للإنتاج، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة الاستخدام من قِبل العملاء غير المصرّح لهم.

تجربة إمكانات أخرى في Gemini API

التعرّف على كيفية التحكّم في إنشاء المحتوى

يمكنك أيضًا تجربة الطلبات وإعدادات النماذج باستخدام Vertex AI Studio.

مزيد من المعلومات حول طُرز Gemini

يمكنك معرفة المزيد عن النماذج المتوفّرة لحالات الاستخدام المختلفة و الحصص والأسعار:


تقديم ملاحظات حول تجربتك مع Vertex AI in Firebase