יצירת טקסט מהנחיות במגוון מודלים באמצעות Gemini API

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

כשאתם קוראים ל-Gemini API מהאפליקציה באמצעות SDK של Vertex AI in Firebase, תוכלו לבקש ממודל Gemini ליצור טקסט על סמך קלט רב-מודלי. הנחיות מולטימודיות יכולות לכלול כמה מודלים (או סוגי קלט), כמו טקסט עם תמונות, קובצי PDF, קובצי טקסט רגילים, וידאו ואודיו.

בכל בקשה עם מודלים מרובים, תמיד צריך לציין את הפרטים הבאים:

• mimeType של הקובץ. מידע על סוגי ה-MIME הנתמכים של כל קובץ קלט

• הקובץ. אפשר לספק את הקובץ כנתונים מוטמעים (כפי שמוצג בדף הזה) או באמצעות כתובת ה-URL או מזהה ה-URI שלו.

כדי לבדוק הנחיות במגוון מישורים ולבצע בהן שינויים, מומלץ להשתמש ב-Vertex AI Studio.

אפשרויות אחרות לעבודה עם Gemini API

• אפשר גם להתנסות בגרסה חלופית 'Google AI' של Gemini API
  ולקבל גישה בחינם (במגבלות ובאזורים שבהם האפשרות זמינה) באמצעות Google AI Studio וחבילות ה-SDK של לקוחות Google AI. צריך להשתמש ב-SDK האלה לצורך יצירת אב טיפוס בלבד באפליקציות לנייד ובאפליקציות אינטרנט.

  אחרי שתתמצאו באופן שבו פועל Gemini API, תוכלו לעבור ל-SDKs של Vertex AI in Firebase (המסמכים האלה), שיש בהם תכונות נוספות רבות שחשובות לאפליקציות לנייד ולאינטרנט, כמו הגנה על ה-API מפני ניצול לרעה באמצעות Firebase App Check ותמיכה בקובצי מדיה גדולים בבקשות.

• אפשר גם להפעיל את Vertex AI Gemini API בצד השרת (למשל באמצעות Python,‏ Node.js או Go)
  . משתמשים בערכות ה-SDK של Vertex AI בצד השרת, ב-Genkit או ב-Firebase Extensions עבור Gemini API.

לפני שמתחילים

אם עדיין לא עשיתם זאת, כדאי לעיין במדריך למתחילים, שבו מוסבר איך מגדירים את פרויקט Firebase, מחברים את האפליקציה ל-Firebase, מוסיפים את ה-SDK, מאתחלים את השירות Vertex AI ויוצרים מכונה של GenerativeModel.

יצירת טקסט מטקסט ומתמונה אחת יצירת טקסט מטקסט וממספר תמונות יצירת טקסט מטקסט וסרטון

קובצי מדיה לדוגמה

אם עדיין אין לכם קובצי מדיה, תוכלו להשתמש בקבצים הבאים שזמינים לכולם. מאחר שהקבצים האלה מאוחסנים בקטגוריות שלא נמצאות בפרויקט ב-Firebase, צריך להשתמש בפורמט https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE לכתובת ה-URL.

• תמונה: https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpg עם סוג MIME של image/jpeg. הצגה או הורדה של התמונה הזו

• PDF: https://storage.googleapis.com/cloud-samples-data/generative-ai/pdf/2403.05530.pdf עם סוג MIME של application/pdf. הצגה או הורדה של קובץ ה-PDF הזה

• וידאו: https://storage.googleapis.com/cloud-samples-data/video/animals.mp4 עם סוג MIME‏ video/mp4. לצפייה או להורדה של הסרטון הזה

• אודיו: https://storage.googleapis.com/cloud-samples-data/generative-ai/audio/pixel.mp3 עם סוג MIME של audio/mp3. האזנה לאודיו או הורדה שלו

יצירת טקסט מטקסט ומתמונה אחת

לפני שמנסים את הדוגמה הזו, חשוב לוודא שמילאתם את הקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות במגוון מודלים, שכוללות גם טקסט וגם קובץ יחיד (כמו תמונה, כפי שמוצג בדוגמה הזו). לשיחות האלה, צריך להשתמש במודל שתומך במדיה בהנחיות (כמו Gemini 2.0 Flash).

חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

כאן מוסבר איך בוחרים מודל, ואם רוצים גם מיקום, שמתאימים לתרחיש לדוגמה ולאפליקציה שלכם.

יצירת טקסט מטקסט וממספר תמונות

לפני שמנסים את הדוגמה הזו, חשוב לוודא שמילאתם את הקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות במגוון מודלים, שכוללות גם טקסט וגם כמה קבצים (כמו תמונות, כפי שמוצג בדוגמה הזו). לשיחות האלה, צריך להשתמש במודל שתומך במדיה בהנחיות (כמו Gemini 2.0 Flash).

חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

כאן מוסבר איך בוחרים מודל, ואם רוצים גם מיקום, שמתאימים לתרחיש לדוגמה ולאפליקציה שלכם.

יצירת טקסט מטקסט וסרטון

לפני שמנסים את הדוגמה הזו, חשוב לוודא שפעלתם לפי ההוראות בקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות מרובות-מודות שכוללות גם טקסט וגם קובצי וידאו (כמו בדוגמה הזו). בשיחות האלה, צריך להשתמש במודל שתומך במדיה בהנחיות (כמו Gemini 2.0 Flash).

חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

כאן מוסבר איך בוחרים מודל, ואם רוצים גם מיקום, שמתאימים לתרחיש לדוגמה ולאפליקציה שלכם.

דרישות והמלצות לגבי קובצי קלט

במאמר קבצי קלט נתמכים ודרישות ל-Vertex AI Gemini API מוסבר על הנושאים הבאים:

• אפשרויות שונות לשליחת קובץ בבקשה
• סוגי קבצים נתמכים
• סוגי ה-MIME הנתמכים ואופן הציון שלהם
• דרישות ושיטות מומלצות לגבי קבצים ובקשות במגוון מודלים

מה עוד אפשר לעשות?

• כך סופרים אסימונים לפני ששולחים הנחיות ארוכות למודל.
• מגדירים את Cloud Storage for Firebase כדי שתוכלו לכלול קבצים גדולים בבקשות עם מודלים מרובים של קלט, ולקבל פתרון מנוהל יותר לשליחת קבצים בהנחיות. הקבצים יכולים לכלול תמונות, קובצי PDF, סרטונים וקטעי אודיו.
• כדאי להתחיל לחשוב על ההכנות לקראת ההשקה בסביבת הייצור, כולל הגדרת Firebase App Check כדי להגן על ה-Gemini API מפני ניצול לרעה על ידי לקוחות לא מורשים. בנוסף, חשוב לעיין ברשימת המשימות להעברה לייצור.

לנסות יכולות אחרות

• ליצור שיחות עם זיכרון (צ'אט).
• יצירת טקסט מהנחיות בטקסט בלבד.
• יצירת פלט מובנה (כמו JSON) גם מהנחיות טקסט וגם מהנחיות מולטימודיאליות.
• יצירת תמונות מהנחיות טקסט.
• משתמשים בקריאה לפונקציה כדי לחבר מודלים גנרטיביים למערכות ולמידע חיצוניים.

איך שולטים ביצירת תוכן

• הסבר על תכנון הנחיות, כולל שיטות מומלצות, אסטרטגיות והנחיות לדוגמה.
• להגדיר את הפרמטרים של המודל, כמו טמפרטורה ואסימונים מקסימליים של פלט (עבור Gemini) או יחס גובה-רוחב ויצירת אנשים (עבור Imagen).
• שימוש בהגדרות הבטיחות כדי לשנות את הסבירות לקבלת תשובות שעשויות להיחשב כמזיקות.

אפשר גם להתנסות בהנחיות ובהגדרות של מודלים באמצעות Vertex AI Studio.

מידע נוסף על המודלים הנתמכים

כאן תוכלו לקרוא מידע נוסף על המודלים הזמינים לתרחישי שימוש שונים, על המכסות ועל התמחור שלהם.

שליחת משוב על חוויית השימוש ב-Vertex AI in Firebase