عند طلب Gemini API من تطبيقك باستخدام حزمة تطوير برامج Vertex AI in Firebase SDK، يمكنك توجيه نموذج Gemini لإنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمّن الطلبات المتعدّدة الوسائط وسائط متعددة (أو أنواعًا من الإدخال)، مثل النصوص والصور وملفات PDF والفيديوهات والمقاطع الصوتية.
لاختبار طلبات التفاعل المتعدّد الوسائط وتحسينها، ننصحك باستخدام Vertex AI Studio.
قبل البدء
يُرجى إكمال دليل بدء استخدام حِزم تطوير البرامج (SDK) Vertex AI in Firebase إذا لم يسبق لك ذلك. تأكَّد من تنفيذ كلّ ما يلي:
إعداد مشروع جديد أو حالي على Firebase، بما في ذلك استخدام خطط أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة
ربط تطبيقك بمنصّة Firebase، بما في ذلك تسجيل تطبيقك وإضافة إعدادات Firebase إلى تطبيقك
أضِف حزمة تطوير البرامج (SDK) وابدأ إعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.
بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي، ستكون مستعدًا لاستدعاء Gemini API.
إنشاء نص من نص وصورة واحدة
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وملف واحد (مثل صورة، كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).
تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
إنشاء نص من نص وصور متعددة
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك استدعاء Gemini API باستخدام طلبات متعددة الوسائط التي تتضمّن كلّ من النصوص والملفات المتعددة (مثل الصور، كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).
تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار للحصول على النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
إنشاء نص من نص وفيديو
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وفيديو واحد (كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).
يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
المتطلبات والاقتراحات المتعلّقة بملفات الإدخال
اطّلِع على ملفات الإدخال المتوافقة ومتطلبات Vertex AI Gemini API للتعرّف على ما يلي:
- خيارات مختلفة لتقديم ملف في طلب
- أنواع الملفات المتوافقة
- أنواع MIME المتوافقة وكيفية تحديدها
- المتطلبات وأفضل الممارسات المتعلّقة بالملفات والطلبات المتعدّدة الوسائط
ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟
- تعرَّف على كيفية احتساب الرموز المميّزة قبل إرسال طلبات طويلة إلى النموذج.
- إعداد Cloud Storage for Firebase لكي تتمكّن من تضمين ملفات كبيرة في طلباتك المتعدّدة الوسائط والحصول على حلّ أكثر تنظيمًا لتقديم الملفات في طلباتك يمكن أن تتضمّن الملفات صورًا وملفات PDF وفيديوهات وملفات صوتية.
- ابدأ التفكير في التحضير للإصدار العلني، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة الاستخدام من قِبل العملاء غير المصرَّح لهم.
تجربة إمكانات أخرى في Gemini API
- إنشاء محادثات متعددة المقاطع (محادثة)
- إنشاء نص من الطلبات النصية فقط
- إنشاء إخراج منظَّم (مثل تنسيق JSON) من كلّ من الطلبات النصية والطلبات المتعدّدة الوسائط
- استخدِم استدعاء الدوال لربط النماذج التوليدية بالأنظمة والمعلومات الخارجية.
التعرّف على كيفية التحكّم في إنشاء المحتوى
- التعرّف على تصميم الطلبات، بما في ذلك أفضل الممارسات والاستراتيجيات وأمثلة الطلبات
- ضبط مَعلمات النموذج، مثل مستوى الإبداع والحد الأقصى لوحدات ترميز الإخراج
- استخدام إعدادات الأمان لضبط احتمالية تلقّي ردود قد تُعتبر ضارة
مزيد من المعلومات حول طُرز Gemini
اطّلِع على مزيد من المعلومات عن النماذج المتاحة لحالات الاستخدام المختلفة واطلاعك على الحصص والأسعار.تقديم ملاحظات حول تجربتك مع Vertex AI in Firebase