מגבלות ומפרטים של Live API


בדף הזה מתוארות מגבלות ומפרטים שונים לשימוש ב-Live API ובמודלים שלו.

מפרטים ומגבלות כלליים

  • קלט ופלט נתמכים: (פרטים מופיעים בקטע פורמטים של מדיה בהמשך)

    • קלט: טקסט, תמונות (לא קובצי PDF), אודיו, וידאו
    • פלט: טקסט (תמליל) ואודיו (סטרימינג)

  • כלים נתמכים: קריאה לפונקציות, Grounding עם Google Search, Grounding עם Google Maps

  • תאריך סף הידע: ינואר 2025

‫Live API לא ניתן להשתמש ב-API הזה כדי ליצור פלט מובנה (כמו JSON) או כדי לספור טוקנים.

מגבלות שקשורות לסשן

במקרה של Live API, סשן הוא חיבור קבוע שבו הקלט והפלט מוזרמים ברציפות דרך החיבור.

אם הסשן חורג מכל אחת מהמגבלות הבאות, החיבור מסתיים. עם זאת, Live API מספק כמה אפשרויות (מפורטות בהמשך) לטיפול במגבלות שקשורות לסשן.

  • חלון ההקשר של הסשן מוגבל ל-128 אלף טוקנים.

    בגלל המגבלה הזו של חלון ההקשר, אלה אורכי הסשנים המקסימליים המשוערים לפי אופנויות הקלט:

    • הפעלת קלט של אודיו בלבד מוגבלת ל-15 דקות.
    • הקלט של וידאו ואודיו מוגבל ל-2 דקות.

  • אורך החיבור מוגבל לכ-10 דקות.

    תקבלו התראה על סיום השיחה כ-60 שניות לפני שהשיחה תסתיים.

ריכזנו כאן כמה אפשרויות לטיפול במגבלות שקשורות לסשנים:

  • דחיסת חלון ההקשר של הסשן כדי שהשרת ישמור באופן אוטומטי על גודל ההקשר במסגרת המגבלה.

  • המשך סשן כדי לא לאבד את ההקשר של השיחה במהלך ניתוקים קצרים מהרשת או אחרי קבלת התראה על התנתקות.

מידע נוסף על ניהול סשנים

מגבלות קצב

ל-Live API יש מגבלות קצב גם על סשנים בו-זמניים לכל פרויקט Firebase וגם על טוקנים לדקה (TPM).

  • Gemini Developer API:

  • Agent Platform Gemini API (formerly Vertex AI):

    • ‫1,000 ביקורים בו-זמניים לכל פרויקט Firebase
    • ‫4 מיליון טוקנים בדקה

פורמטים של מדיה

‫Live API תומך בסוגי המדיה הבאים:

  • קלט: תמונות, אודיו, וידאו
  • פלט: אודיו

פורמטים של תמונות

Live API תומך בקלט של תמונות בפורמטים הבאים:

  • מספר התמונות המקסימלי לכל הנחיה: 3,000

  • גודל קובץ מקסימלי לכל קובץ (נתונים מוטבעים): 7MB

  • סוגי MIME נתמכים: image/png, image/jpeg, image/webp, image/heic, image/heif

פורמטים של אודיו

הפונקציה Live API תומכת בפורמטים הבאים של אודיו:

  • פורמט אודיו של הקלט: אודיו PCM גולמי של 16 ביט בפורמט little-endian‏ בתדר 16kHz

  • פורמט פלט אודיו: אודיו PCM גולמי של 16 ביט ב-24kHz little-endian

  • סוגי MIME נתמכים: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

כדי להעביר את קצב הדגימה של אודיו קלט, צריך להגדיר את סוג ה-MIME של כל Blob שמכיל אודיו לערך כמו audio/pcm;rate=16000.

פורמטים של סרטונים

הפונקציה Live API מצפה לרצף של פריימים נפרדים של תמונות, ותומכת בקלט של פריימים של סרטונים בקצב של פרים אחד לשנייה (FPS).

  • קלט מומלץ: רזולוציה מקורית של 768x768 ב-1 FPS.

  • סוגי MIME נתמכים: video/x-flv, ‏ video/quicktime, ‏ video/mpeg,‏ video/mpegs, ‏ video/mpg, ‏ video/mp4, ‏ video/webm, ‏ video/wmv, ‏ video/3gpp

שימו לב: המפרט הזהLive API לא מתאים לתרחישי שימוש שדורשים ניתוח של סרטונים שמשתנים במהירות, כמו תיאור של מהלכי משחק בספורט שמתנהל בקצב מהיר.

קולות לתשובות

‫Live API תומך ב-30 קולות שונים באיכות HD, שלכל אחד מהם יש מאפיינים ייחודיים. אפשר להרחיב את הקטע שלמטה כדי לראות רשימה של אפשרויות קול לתשובות ולהאזין להדגמות של כל קול.

אם לא מציינים קול לתשובה, ברירת המחדל היא Puck.

איך בוחרים את הקול של התשובה

שפות

‫Live API תומך בשפות הבאות. איך משפיעים על שפת התשובה

שפות שנתמכות בכל המודלים ליצירת אודיו
שפה קוד BCP-47 שפה קוד BCP-47
ערבית (מצרית) ar-EG גרמנית (גרמניה) de-DE
אנגלית (ארה"ב) en-US ספרדית (ארצות הברית) es-US
צרפתית (צרפת) fr-FR הינדית (הודו) hi-IN
אינדונזית (אינדונזיה) id-ID איטלקית (איטליה) it-IT
יפנית (יפן) ja-JP קוריאנית (קוריאה) ko-KR
פורטוגזית (ברזיל) pt-BR רוסית (רוסיה) ru-RU
הולנדית (הולנד) nl-NL פולנית (פולין) pl-PL
תאית (תאילנד) th-TH טורקית (טורקיה) tr-TR
וייטנאמית (וייטנאם) vi-VN רומנית (רומניה) ro-RO
אוקראינית (אוקראינה) uk-UA בנגלית (בנגלדש) bn-BD
אנגלית (הודו) חבילה en-IN & hi-IN מראטהית (הודו) mr-IN
טמילית (הודו) ta-IN טלוגו (הודו) te-IN
שפות נוספות שנתמכות במודלים ליצירת אודיו מגרסה 3.x
שפה קוד BCP-47 שפה קוד BCP-47
אפריקאנס af פיליפינית fil
אלבנית sq פינית fi
אמהרית am גליציאנית gl
ארמנית hy גאורגית ka
אזרית az יוונית el
בסקית eu גוג'ארטי gu
בלארוסית be קריאולית האיטית ht
בולגרית bg עברית he
בורמזית my הונגרית hu
קטלאנית ca איסלנדית is
סבואנו ceb ג'אווה jv
סינית, מנדרינית cmn קאנדה kn
קרואטית שעה קונקאני kok
צ'כית cs לאו lo
דנית da לטינית la
אסטונית et לטבית lv
ליטאית lt לוקסמבורגית lb
מקדונית mk מאיתילי mai
מלגשית מ"ג מלאית ms
מליאלאם ml מונגולית mn
נפאלית ne נורווגית, ספרותית nb
נורווגית, נינורסק nn אודיה או
פשטו ps פרסית fa
פנג'אבי pa סרבית sr
סינדהית sd סינהאלה si
סלובקית sk סלובנית sl
סווהילי sw שוודית sv
אורדו ur