מגבלות ומפרטים של Live API


בדף הזה מתוארות מגבלות ומפרטים שונים לשימוש ב-Live API ובמודלים שלו.

מפרטים ומגבלות כלליים

  • קלט ופלט נתמכים: (פרטים זמינים בקטע פורמטים של מדיה בהמשך)

    • קלט: טקסט, תמונות (לא קובצי PDF), אודיו, וידאו
    • פלט: טקסט (תמליל) ואודיו (סטרימינג)

  • כלים נתמכים: קריאה לפונקציות, Grounding עם Google Search, Grounding עם Google Maps

  • תאריך סיום תקופת הידע: ינואר 2025

‫Live API לא ניתן להשתמש ב-API הזה כדי ליצור פלט מובנה (כמו JSON) או כדי לספור טוקנים.

מגבלות שקשורות לסשן

ב-Live API, סשן הוא חיבור מתמשך שבו הקלט והפלט מוזרמים באופן רציף דרך החיבור.

אם הסשן חורג מכל אחת מהמגבלות הבאות, החיבור מסתיים. עם זאת, Live API מספק כמה אפשרויות (מפורטות בהמשך) לטיפול במגבלות שקשורות לסשן.

  • חלון ההקשר של הסשן מוגבל ל-128 אלף טוקנים.

    בגלל המגבלה הזו של חלון ההקשר, אלה אורכי הסשנים המקסימליים המשוערים על סמך אופני הקלט:

    • הפעלת קלט של אודיו בלבד מוגבלת ל-15 דקות.
    • הקלט של וידאו ואודיו מוגבל ל-2 דקות.

  • אורך החיבור מוגבל לכ-10 דקות.

    תקבלו התראה על סיום השיחה כ-60 שניות לפני שהשיחה תסתיים.

ריכזנו כאן כמה אפשרויות לטיפול במגבלות שקשורות לסשנים:

  • דחיסת חלון ההקשר של הסשן כדי שהשרת ישמור באופן אוטומטי על גודל ההקשר במסגרת המגבלה.

  • המשך סשן כדי לא לאבד את ההקשר של השיחה במהלך ניתוקים קצרים מהרשת או אחרי קבלת התראה על התנתקות.

מידע נוסף על ניהול סשנים

הגבלות קצב

ל-Live API יש מגבלות קצב גם על מספר הסשנים בו-זמנית לכל פרויקט ב-Firebase וגם על מספר האסימונים לדקה (TPM).

  • Gemini Developer API:

  • Vertex AI Gemini API:

    • ‫1,000 ביקורים בו-זמניים לכל פרויקט Firebase
    • ‫4 מיליון טוקנים בדקה

פורמטים של מדיה

‫Live API תומך בסוגי המדיה הבאים:

  • קלט: תמונות, אודיו, וידאו
  • פלט: אודיו

פורמטים של תמונות

מודל Live API תומך בקלט של תמונות בפורמטים הבאים:

  • מספר התמונות המקסימלי לכל הנחיה: 3,000

  • גודל קובץ מקסימלי לכל קובץ (נתונים מוטבעים): 7MB

  • סוגי MIME נתמכים: image/png, image/jpeg, image/webp, image/heic, image/heif

פורמטים של אודיו

הפונקציה Live API תומכת בפורמטים הבאים של אודיו:

  • פורמט אודיו של הקלט: אודיו PCM גולמי של 16 ביט בפורמט little-endian‏ 16kHz

  • פורמט פלט אודיו: אודיו PCM גולמי של 16 ביט ב-24kHz little-endian

  • סוגי MIME נתמכים: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

כדי להעביר את קצב הדגימה של קלט האודיו, צריך להגדיר את סוג ה-MIME של כל Blob שמכיל אודיו לערך כמו audio/pcm;rate=16000.

פורמטים של סרטונים

הפונקציה Live API מצפה לרצף של פריימים נפרדים של תמונות, ותומכת בקלט של פריימים של סרטונים בקצב של פריימים לשנייה (FPS).

  • קלט מומלץ: רזולוציה מקורית של 768x768 ב-1 FPS.

  • סוגי MIME נתמכים: video/x-flv, ‏ video/quicktime, ‏ video/mpeg,‏ video/mpegs, ‏ video/mpg, ‏ video/mp4, ‏ video/webm, ‏ video/wmv, ‏ video/3gpp

שימו לב: המפרט הזה הופך את Live API ללא מתאים לתרחישי שימוש שדורשים ניתוח של סרטונים שמשתנים במהירות, כמו תיאור מפורט של מהלכי משחק בספורט מהיר.

קולות לתשובות

‫Live API תומך באפשרויות הבאות של קולות לתשובות. כדי לשמוע הדגמות של כל אחד מהקולות, אפשר לעיין במאמר Chirp 3: HD voices.

אם לא מציינים קול לתשובה, ברירת המחדל היא Puck.

איך בוחרים את הקול של התשובה

‫Zephyr — Bright
Kore — Firm
Orus — Firm
Autonoe — Bright
Umbriel — Easy-going
Erinome — Clear
Laomedeia — Upbeat
Schedar — Even
Achird — Friendly
Sadachbia — Lively 		‫Puck — קליל
‫Fenrir — נלהב
‫Aoede — נעים
‫Enceladus — רך
‫Algieba — חלק
‫Algenib — מחוספס
‫Achernar — עדין
‫Gacrux — בוגר
‫Zubenelgenubi — לא רשמי
‫Sadaltager — ידען 		‫Charon — אינפורמטיבי
‫Leda — צעיר
‫Callirrhoe — נינוח
‫Iapetus — ברור
‫Despina — חלק
‫Rasalgethi — אינפורמטיבי
‫Alnilam — תקיף
‫Pulcherrima — ישיר
‫Vindemiatrix — עדין
‫Sulafat — חם

שפות

‫Live API תומך בשפות הבאות. איך משפיעים על שפת התשובה

שפה קוד BCP-47 שפה קוד BCP-47
ערבית (מצרית) ar-EG גרמנית (גרמניה) de-DE
אנגלית (ארה"ב) en-US ספרדית (ארצות הברית) es-US
צרפתית (צרפת) fr-FR הינדית (הודו) hi-IN
אינדונזית (אינדונזיה) id-ID איטלקית (איטליה) it-IT
יפנית (יפן) ja-JP קוריאנית (קוריאה) ko-KR
פורטוגזית (ברזיל) pt-BR רוסית (רוסיה) ru-RU
הולנדית (הולנד) nl-NL פולנית (פולין) pl-PL
תאית (תאילנד) th-TH טורקית (טורקיה) tr-TR
וייטנאמית (וייטנאם) vi-VN רומנית (רומניה) ro-RO
אוקראינית (אוקראינה) uk-UA בנגלית (בנגלדש) bn-BD
אנגלית (הודו) חבילה en-IN & hi-IN מראטהית (הודו) mr-IN
טמילית (הודו) ta-IN טלוגו (הודו) te-IN