מגבלות ומפרטים של Live API


בדף הזה מתוארות מגבלות ומפרטים שונים לשימוש ב-Live API ובמודלים שלו.

מגבלות שקשורות לסשן

במקרה של Live API, סשן הוא חיבור מתמשך שבו הקלט והפלט מוזרמים ברציפות דרך החיבור.

אם הסשן חורג מכל אחת מהמגבלות הבאות, החיבור מסתיים. עם זאת, Live API מספק כמה אפשרויות (מפורטות בהמשך) לטיפול במגבלות שקשורות לסשן.

  • חלון ההקשר של הסשן מוגבל ל-128 אלף טוקנים.

    בגלל המגבלה הזו של חלון ההקשר, אלה אורכי הסשנים המקסימליים המשוערים על סמך שיטות הקלט:

    • הזמן המקסימלי לשיחות עם קלט אודיו בלבד הוא 15 דקות.
    • הקלט של וידאו ואודיו מוגבל ל-2 דקות.

  • אורך החיבור מוגבל לכ-10 דקות.

    תקבלו התראה על סיום השיתוף כ-60 שניות לפני שהשיתוף יסתיים.

ריכזנו כאן כמה אפשרויות לטיפול במגבלות שקשורות להפעלת המערכת:

  • דחיסת חלון ההקשר של הסשן כך שהשרת ישמור אוטומטית על גודל ההקשר במסגרת המגבלה.

  • המשך סשן כדי לא לאבד את ההקשר של השיחה במהלך ניתוקים קצרים מהרשת או אחרי קבלת התראה על עזיבה.

מידע נוסף על ניהול סשנים

מגבלות קצב

ל-Live API יש מגבלות קצב גם על מספר הסשנים בו-זמנית לכל פרויקט Firebase וגם על מספר האסימונים לדקה (TPM).

  • Gemini Developer API:

  • Vertex AI Gemini API:

    • ‫1,000 ביקורים בו-זמניים לכל פרויקט Firebase
    • ‫4 מיליון טוקנים בדקה

פורמטים של אודיו

הפונקציה Live API תומכת בפורמטים הבאים של אודיו:

  • פורמט אודיו של הקלט: אודיו PCM גולמי של 16 ביט ב-16kHz little-endian

  • פורמט פלט אודיו: אודיו PCM גולמי של 16 ביט ב-24kHz little-endian

  • סוגי MIME נתמכים: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

כדי להעביר את קצב הדגימה של אודיו קלט, צריך להגדיר את סוג ה-MIME של כל Blob שמכיל אודיו לערך כמו audio/pcm;rate=16000.

פורמטים של סרטונים

הפונקציה Live API מצפה לרצף של פריימים נפרדים של תמונות, ותומכת בקלט של פריימים של סרטונים בקצב של פרים אחד לשנייה (FPS).

  • קלט מומלץ: רזולוציה מקורית של ‎768x768 ב-1 FPS.

  • סוגי ה-MIME הנתמכים: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

שימו לב: המפרט הזה הופך את Live API ללא מתאים לתרחישי שימוש שדורשים ניתוח של סרטונים שמשתנים במהירות, כמו תיאור מפורט של מהלכי משחק בספורט מהיר.

קולות לתשובות

‫Live API תומך באפשרויות הבאות של קולות לתשובות. כדי לשמוע הדגמות של כל אחד מהקולות, אפשר לעיין במאמר Chirp 3: קולות באיכות HD.

אם לא מציינים קול לתשובה, ברירת המחדל היא Puck.

איך בוחרים את הקול של התשובה

Zephyr -- Bright
Kore -- Firm
Orus -- Firm
Autonoe -- Bright
Umbriel -- Easy-going
Erinome -- Clear
Laomedeia -- Upbeat
Schedar -- Even
Achird -- Friendly
Sadachbia -- Lively 		Puck -- Upbeat
Fenrir -- Excitable
Aoede -- Breezy
Enceladus -- Breathy
Algieba -- Smooth
Algenib -- Gravelly
Achernar -- Soft
Gacrux -- Mature
Zubenelgenubi -- Casual
Sadaltager -- Knowledgeable 		Charon -- Informative
Leda -- Youthful
Callirrhoe -- Easy-going
Iapetus -- Clear
Despina -- Smooth
Rasalgethi -- Informative
Alnilam -- Firm
Pulcherrima -- Forward
Vindemiatrix -- Gentle
Sulafat -- Warm

שפות

‫Live API תומך בשפות הבאות. איך משפיעים על שפת התשובה

שפה קוד BCP-47 שפה קוד BCP-47
ערבית (מצרית) ar-EG גרמנית (גרמניה) de-DE
אנגלית (ארה"ב) en-US ספרדית (ארצות הברית) es-US
צרפתית (צרפת) fr-FR הינדית (הודו) hi-IN
אינדונזית (אינדונזיה) id-ID איטלקית (איטליה) it-IT
יפנית (יפן) ja-JP קוריאנית (קוריאה) ko-KR
פורטוגזית (ברזיל) pt-BR רוסית (רוסיה) ru-RU
הולנדית (הולנד) nl-NL פולנית (פולין) pl-PL
תאית (תאילנד) th-TH טורקית (טורקיה) tr-TR
וייטנאמית (וייטנאם) vi-VN רומנית (רומניה) ro-RO
אוקראינית (אוקראינה) uk-UA בנגלית (בנגלדש) bn-BD
אנגלית (הודו) חבילה של en-IN ו-hi-IN מראטהית (הודו) mr-IN
טמילית (הודו) ta-IN טלוגו (הודו) te-IN