קובצי קלט נתמכים ודרישות

כשקוראים ל-Gemini API מהאפליקציה באמצעות SDK של Firebase AI Logic, אפשר להנחות את המודל Gemini ליצור טקסט דינמי מבוסס-AI על סמך קלט מולטימודלי, כמו תמונות, וידאו, אודיו ומסמכים (כמו קובצי PDF).

אתם צריכים להשתמש בסוגי קבצים נתמכים, לציין סוג MIME נתמך ולוודא שהקבצים והבקשות המולטי-מודאליות עומדים בדרישות ופועלים לפי השיטות המומלצות.

הדף הזה ספציפי לשימוש ב-GenerativeModel ומתאר את הדברים הבאים:

אפשרויות להוספת קבצים לבקשות מולטימודליות

כדי לראות תוכן ספציפי לספק בדף הזה, צריך לבחור את ספק Gemini API

בכל בקשה מולטי-מודאלית, צריך תמיד לספק את הפרטים הבאים:

הגודל ומספר הקבצים שאפשר לספק בבקשה תלויים בסוג קובץ הקלט, באופן שבו אתם מספקים את הקובץ ובמודל שבו אתם משתמשים (לפרטים, עיינו בקטע של כל סוג קובץ קלט בדף הזה).

אפשרות 1: לספק את הקובץ כנתונים מוטבעים (inline)

שימו לב לנקודות הבאות לגבי קבצים שסופקו כנתונים מוטבעים:

  • אפשר לשלוח רק קבצים קטנים כנתונים מוטבעים, כי מגבלת הגודל הכולל של הבקשה היא 20MB.

  • הקובץ מקודד ל-base64 במהלך ההעברה (מה שמגדיל את גודל הקובץ).

דוגמה שמראה איך לכלול קובץ כנתונים מוטבעים מופיעה במאמר יצירת טקסט דינמי מבוסס-AI מקלט של טקסט וקובץ (מולטי-מודאלי). שימו לב: ערכות ה-SDK לפלטפורמות של Android ו-Apple יכולות לטפל בתמונות מוטבעות בבקשות בלי לציין את סוג ה-MIME. מידע נוסף

אפשרות 2: מספקים את הקובץ באמצעות כתובת URL

אלה סוגי כתובות ה-URL שאפשר להשתמש בהם עם Gemini Developer API:

  • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube חייב להיות גלוי לכולם או לא רשום.

    אפשר לציין כתובת URL אחת של סרטון ב-YouTube בכל בקשה.


תמונות: דרישות, שיטות מומלצות ומגבלות

תמונות Google: דרישות

בקטע הזה מוסבר על סוגי ה-MIME הנתמכים ועל המגבלות לכל בקשה של תמונות.

סוגי MIME נתמכים

המודלים המולטי-מודאליים של Gemini תומכים בסוגי ה-MIME הבאים של תמונות:

  • ‫PNG – image/png
  • JPEG – image/jpeg
  • ‫WebP – ‏image/webp

מגבלות לכל בקשה

אין הגבלה ספציפית על מספר הפיקסלים בתמונה. עם זאת, תמונות גדולות יותר מוקטנות ומרופדות כדי להתאים לרזולוציה מקסימלית של 3,072 x‏ 3,072, תוך שמירה על יחס הגובה-רוחב המקורי שלהן.

מספר הקבצים המקסימלי לבקשה: 3,000 קובצי תמונות

תמונות: טוקניזציה

כך מחושבים הטוקנים לתמונות:

  • אם שני הממדים של התמונה קטנים מ-384 פיקסלים או שווים לערך הזה, המערכת משתמשת ב-258 אסימונים.
  • אם אחד מהממדים של התמונה גדול מ-384 פיקסלים, התמונה נחתכת למשבצות. כברירת מחדל, הגודל של כל משבצת הוא המימד הקטן ביותר (רוחב או גובה) חלקי 1.5. במקרה הצורך, כל משבצת מותאמת כך שהיא לא קטנה מ-256 פיקסלים ולא גדולה מ-768 פיקסלים. כל משבצת משנה את הגודל שלה ל-768x768 ומשתמשת ב-258 טוקנים.

תמונות Google: שיטות מומלצות

כדי להשיג את התוצאות הטובות ביותר, כדאי להשתמש בשיטות המומלצות הבאות:

  • אם אתם רוצים לזהות טקסט בתמונה, כדאי להשתמש בהנחיות עם תמונה אחת כדי לקבל תוצאות טובות יותר מאשר בהנחיות עם כמה תמונות.
  • אם ההנחיה מכילה תמונה אחת, צריך למקם את התמונה לפני הנחיית הטקסט בבקשה.
  • אם ההנחיה מכילה כמה תמונות, ואתם רוצים להתייחס אליהן בהמשך ההנחיה או שהמודל יתייחס אליהן בתשובה שלו, כדאי לתת לכל תמונה אינדקס לפני התמונה. משתמשים ב-a b c או ב-image 1 image 2 image 3 לאינדקס. הדוגמה הבאה ממחישה איך להשתמש בתמונות שנוספו לאינדקס בהנחיה: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • כדאי להשתמש בתמונות ברזולוציה גבוהה יותר, כי הן מניבות תוצאות טובות יותר.
  • לכלול כמה דוגמאות בהנחיה.
  • לפני שמוסיפים תמונות להנחיה, צריך לסובב אותן לכיוון הנכון.
  • אל תשתמשו בתמונות מטושטשות.

תמונות Google: מגבלות

למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:

  • ניהול תוכן: המודלים מסרבים לספק תשובות לגבי תמונות שמפירות את מדיניות הבטיחות שלנו.
  • חשיבה מרחבית: המודלים לא מדויקים באיתור טקסט או אובייקטים בתמונות. יכול להיות שהם יחזירו רק את המספר המשוער של האובייקטים.
  • שימושים רפואיים: המודלים לא מתאימים לפענוח תמונות רפואיות (לדוגמה, צילומי רנטגן וסריקות CT) או למתן ייעוץ רפואי.
  • זיהוי אנשים: המודלים לא מיועדים לזיהוי אנשים בתמונות, אלא אם הם ידוענים.
  • דיוק: המודלים עלולים להזות או לטעות כשהם מפרשים תמונות באיכות נמוכה, תמונות מסובבות או תמונות ברזולוציה נמוכה מאוד. המודלים עלולים גם להזות כשהם מפרשים טקסט בכתב יד בתמונות ובמסמכים.


סרטונים: דרישות, שיטות מומלצות ומגבלות

סרטון: דרישות

בקטע הזה מוסבר על סוגי ה-MIME הנתמכים ועל המגבלות לכל בקשה של סרטון.

סוגי MIME נתמכים

המודלים המולטי-מודאליים של Gemini תומכים בסוגי ה-MIME הבאים של סרטונים:

  • FLV - video/x-flv
  • MOV – video/quicktime
  • MPEG - video/mpeg
  • MPEGPS – video/mpegps
  • MPG - video/mpg
  • ‫MP4 – ‏video/mp4
  • ‫WEBM – video/webm
  • ‫WMV – video/wmv
  • ‫3GPP – video/3gpp

מגבלות לכל בקשה

מספר הקבצים המקסימלי לבקשה: 10 קובצי וידאו

סרטון: טוקניזציה

כך מחושבים הטוקנים בסרטונים:

  • הטראק של האודיו מקודד עם פריימים של וידאו. הטראק של האודיו מחולק גם הוא לקטעים של שנייה אחת, שכל אחד מהם מורכב מ-32 טוקנים. האסימונים של הפריימים והאודיו משולבים יחד עם חותמות הזמן שלהם. חותמות הזמן מיוצגות כ-5 אסימונים.
  • בסרטונים שנדגמים בקצב של פריים אחד לשנייה (FPS) או פחות, חותמות הזמן של השעה הראשונה של הסרטון מיוצגות כ-5 אסימונים לכל פריים. חותמות הזמן הנותרות מיוצגות כ-7 אסימונים לכל פריים בסרטון.
  • בסרטונים שנדגמים בקצב של יותר מפריים אחד לשנייה (FPS), חותמות הזמן של השעה הראשונה בסרטון מיוצגות על ידי 9 אסימונים לכל פריים. חותמות הזמן הנותרות מיוצגות כ-11 אסימונים לכל פריים בסרטון.

סרטון: שיטות מומלצות

כדי להשיג את התוצאות הטובות ביותר, כדאי להשתמש בשיטות המומלצות הבאות:

  • אם הפרומפט מכיל סרטון אחד, הציבו את הסרטון לפני הפרומפט הטקסטואלי.
  • אם אתם צריכים לוקליזציה של חותמות זמן בסרטון עם אודיו, בקשו מהמודל ליצור חותמות זמן בפורמט שמתואר בקטע "פורמט של חותמות זמן".

סרטון: מגבלות

למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:

  • ניהול תוכן: המודלים מסרבים לספק תשובות לגבי סרטונים שמפירים את מדיניות הבטיחות שלנו.
  • זיהוי צלילים שהם לא דיבור: המודלים שתומכים באודיו עלולים לטעות בזיהוי צלילים שהם לא דיבור.


אודיו: דרישות ומגבלות

אודיו: דרישות

בקטע הזה מוסבר על סוגי ה-MIME הנתמכים ועל המגבלות לכל בקשה של אודיו.

סוגי MIME נתמכים

המודלים המולטי-מודאליים של Gemini תומכים בסוגי ה-MIME הבאים של אודיו:

  • AAC – audio/aac
  • ‫FLAC – audio/flac
  • MP3 – audio/mp3
  • MPA – audio/m4a
  • MPEG - audio/mpeg
  • MPGA – audio/mpga
  • ‫MP4 – ‏audio/mp4
  • OPUS – audio/opus
  • PCM – audio/pcm
  • WAV – audio/wav
  • ‫WEBM – audio/webm

מגבלות לכל בקשה

מספר הקבצים המקסימלי לבקשה: קובץ אודיו אחד

אודיו: מגבלות

למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:

  • זיהוי צלילים שהם לא דיבור: המודלים שתומכים באודיו עלולים לטעות בזיהוי צלילים שהם לא דיבור.
  • חותמות זמן של אודיו בלבד: כדי ליצור חותמות זמן מדויקות לקובצי אודיו בלבד, צריך להגדיר את הפרמטר audio_timestamp ב-generation_config.


מסמכים (כמו קובצי PDF): דרישות, שיטות מומלצות ומגבלות

מסמכים: דרישות

בקטע הזה מוסבר על סוגי ה-MIME הנתמכים והמגבלות לכל בקשה למסמכים (כמו קובצי PDF).

סוגי MIME נתמכים

המודלים המולטי-מודאליים של Gemini תומכים בסוגי ה-MIME הבאים של מסמכים:

  • ‫PDF – application/pdf
  • טקסט – text/plain

מגבלות לכל בקשה

קובצי PDF נחשבים לתמונות, כך שדף אחד של קובץ PDF נחשב לתמונה אחת. מספר הדפים שאפשר לכלול בהנחיה מוגבל למספר התמונות שהמודלים המולטי-מודאליים של Gemini יכולים לתמוך בהן.

  • מספר הקבצים המקסימלי לבקשה: 3,000 קבצים
  • מספר הדפים המקסימלי לקובץ: 1,000 דפים לקובץ
  • גודל מקסימלי לכל קובץ: 50MB

מסמכים: יצירת טוקנים

טוקניזציה של קובצי PDF

קובצי PDF נחשבים לתמונות, ולכן כל דף בקובץ PDF עובר טוקניזציה באותו אופן כמו תמונה.

בנוסף, העלות של קובצי PDF זהה לתמחור של תמונות ב-Gemini. לדוגמה, אם כוללים קובץ PDF של שני דפים בקריאה ל-API של Gemini, משלמים עמלת קלט על עיבוד של שתי תמונות.

מסמכים: שיטות מומלצות

כדי לקבל את התוצאות הכי טובות, כדאי להשתמש בשיטות המומלצות ובמידע הבא:

  • אם ההנחיה מכילה קובץ PDF אחד, צריך למקם את קובץ ה-PDF לפני ההנחיה בבקשה.
  • אם יש לכם מסמך ארוך, כדאי לפצל אותו לכמה קובצי PDF כדי לעבד אותו.
  • השתמשו בקובצי PDF שנוצרו עם טקסט שמוצג כטקסט, במקום להשתמש בטקסט בתמונות סרוקות. הפורמט הזה מבטיח שהטקסט יהיה פורמט קריא למכונה, כך שלמודל יהיה קל יותר לערוך, לחפש ולשנות אותו בהשוואה לקובצי PDF של תמונות סרוקות. השיטה הזו מספקת תוצאות אופטימליות כשעובדים עם מסמכים שמכילים הרבה טקסט, כמו חוזים.

מסמכים: מגבלות

למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:

  • תפיסה מרחבית: המודלים לא מדויקים באיתור טקסט או אובייקטים בקובצי PDF. יכול להיות שהם יחזירו רק את המספר המשוער של האובייקטים.
  • דיוק: המודלים עלולים להזות כשהם מפרשים טקסט בכתב יד במסמכי PDF.