מגבלות ומפרטים של Live API


בדף הזה מתוארות מגבלות ומפרטים שונים לשימוש ב-Live API ובמודלים שלו.

מגבלות שקשורות לסשן

ב-Live API, סשן הוא חיבור מתמשך שבו הקלט והפלט מוזרמים ברציפות דרך החיבור.

אם הסשן חורג מכל אחת מהמגבלות הבאות, החיבור מסתיים. עם זאת, Live API מספק כמה אפשרויות (מפורטות בהמשך) לטיפול במגבלות שקשורות לסשן.

  • חלון ההקשר של הסשן מוגבל ל-128 אלף טוקנים.

    בגלל המגבלה הזו של חלון ההקשר, אלה אורכי הסשנים המקסימליים המשוערים על סמך אופני הקלט:

    • הפעלת קלט של אודיו בלבד מוגבלת ל-15 דקות.
    • הקלט של וידאו ואודיו מוגבל ל-2 דקות.

  • אורך החיבור מוגבל לכ-10 דקות.

    תקבלו התראה על סיום החיבור כ-60 שניות לפני סיום החיבור.

ריכזנו כאן כמה אפשרויות לטיפול במגבלות שקשורות לסשנים:

  • דחיסת חלון ההקשר של הסשן כך שהשרת ישמור אוטומטית על גודל ההקשר במסגרת המגבלה.

  • המשך סשן כדי לא לאבד את ההקשר של השיחה במהלך ניתוקים קצרים מהרשת או אחרי קבלת התראה על התנתקות.

מידע נוסף על ניהול סשנים

הגבלות קצב

ל-Live API יש מגבלות קצב גם על סשנים בו-זמניים לכל פרויקט Firebase וגם על טוקנים לדקה (TPM).

  • Gemini Developer API:

  • Vertex AI Gemini API:

    • ‫1,000 ביקורים בו-זמניים לכל פרויקט Firebase
    • ‫4 מיליון טוקנים לדקה

פורמטים של אודיו

הפונקציה Live API תומכת בפורמטים הבאים של אודיו:

  • פורמט אודיו של הקלט: אודיו PCM גולמי של 16 ביט בפורמט little-endian‏ 16kHz

  • פורמט פלט אודיו: אודיו PCM גולמי של 16 ביט ב-24kHz little-endian

  • סוגי MIME נתמכים: audio/x-aac, ‏ audio/flac, ‏ audio/mp3,‏ audio/m4a, ‏ audio/mpeg, ‏ audio/mpga, ‏ audio/mp4, ‏ audio/ogg,‏ audio/pcm, ‏ audio/wav, ‏ audio/webm

כדי להעביר את קצב הדגימה של קלט האודיו, צריך להגדיר את סוג ה-MIME של כל Blob שמכיל אודיו לערך כמו audio/pcm;rate=16000.

פורמטים של סרטונים

הפונקציה Live API מצפה לרצף של פריימים נפרדים של תמונות, ותומכת בקלט של פריימים של סרטונים בקצב של פרים אחד לשנייה (FPS).

  • קלט מומלץ: רזולוציה מקורית של 768x768 ב-1 FPS.

  • סוגי MIME נתמכים: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

שימו לב: המפרט הזה הופך את Live API ללא מתאים לתרחישי שימוש שדורשים ניתוח של סרטונים שמשתנים במהירות, כמו תיאור מפורט של מהלכי משחק בספורט מהיר.

קולות לתשובות

‫Live API תומך באפשרויות הבאות של קולות לתשובות. כדי לשמוע הדגמות של כל אחד מהקולות, אפשר לצפות בסרטון Chirp 3: HD voices.

אם לא מציינים קול לתשובה, ברירת המחדל היא Puck.

איך בוחרים את הקול של התשובה

Zephyr -- Bright
Kore -- Firm
Orus -- Firm
Autonoe -- Bright
Umbriel -- Easy-going
Erinome -- Clear
Laomedeia -- Upbeat
Schedar -- Even
Achird -- Friendly
Sadachbia -- Lively 		Puck -- Upbeat
Fenrir -- Excitable
Aoede -- Breezy
Enceladus -- Breathy
Algieba -- Smooth
Algenib -- Gravelly
Achernar -- Soft
Gacrux -- Mature
Zubenelgenubi -- Casual
Sadaltager -- Knowledgeable 		Charon -- Informative
Leda -- Youthful
Callirrhoe -- Easy-going
Iapetus -- Clear
Despina -- Smooth
Rasalgethi -- Informative
Alnilam -- Firm
Pulcherrima -- Forward
Vindemiatrix -- Gentle
Sulafat -- Warm

שפות

ב-Live API יש תמיכה בשפות הבאות. איך משפיעים על שפת התשובה

שפה קוד BCP-47 שפה קוד BCP-47
ערבית (מצרית) ar-EG גרמנית (גרמניה) de-DE
אנגלית (ארה"ב) en-US ספרדית (ארצות הברית) es-US
צרפתית (צרפת) fr-FR הינדית (הודו) hi-IN
אינדונזית (אינדונזיה) id-ID איטלקית (איטליה) it-IT
יפנית (יפן) ja-JP קוריאנית (קוריאה) ko-KR
פורטוגזית (ברזיל) pt-BR רוסית (רוסיה) ru-RU
הולנדית (הולנד) nl-NL פולנית (פולין) pl-PL
תאית (תאילנד) th-TH טורקית (טורקיה) tr-TR
וייטנאמית (וייטנאם) vi-VN רומנית (רומניה) ro-RO
אוקראינית (אוקראינה) uk-UA בנגלית (בנגלדש) bn-BD
אנגלית (הודו) חבילה en-IN & hi-IN מראטהית (הודו) mr-IN
טמילית (הודו) ta-IN טלוגו (הודו) te-IN