בדף הזה מתוארות מגבלות ומפרטים שונים לשימוש ב-Live API ובמודלים שלו.
מפרטים ומגבלות כלליים
קלט ופלט נתמכים: (פרטים נוספים מופיעים בקטע פורמטים של מדיה בהמשך)
- קלט: טקסט, תמונות (לא קובצי PDF), אודיו, וידאו
- פלט: טקסט (תמליל) ואודיו (סטרימינג)
כלים נתמכים: קריאה להפעלת פונקציות, Grounding עם
Google Search , Grounding עםGoogle Maps תאריך סף הידע: ינואר 2025
Live API לא תומך ביצירת פלט מובנה (כמו JSON) או ב-API לספירת טוקנים.
מגבלות שקשורות לסשנים
ב-Live API, סשן הוא חיבור מתמשך שבו הקלט והפלט מוזרמים ברציפות דרך החיבור.
אם הסשן חורג מכל אחת מהמגבלות הבאות, החיבור מסתיים. עם זאת, כדאי לשים לב שLive API מספק כמה אפשרויות (מפורטות בהמשך) לטיפול במגבלות שקשורות לסשן.
חלון ההקשר של הסשן מוגבל ל-128 אלף טוקנים.
בגלל המגבלה הזו של חלון ההקשר, אלה אורכי הסשנים המקסימליים המשוערים לפי אופנויות הקלט:
- הפעלת סשנים עם קלט אודיו בלבד מוגבלת ל-
15 דקות . - הקלט של וידאו ואודיו מוגבל ל-
2 דקות .
- הפעלת סשנים עם קלט אודיו בלבד מוגבלת ל-
אורך החיבור מוגבל לכ-
10 דקות .תקבלו התראה על סיום השיחה כ-
60 שניות לפני שהשיחה תסתיים.
ריכזנו כאן כמה אפשרויות לטיפול במגבלות שקשורות להפעלת המודל:
דחיסת חלון ההקשר של הסשן כך שהשרת ישמור אוטומטית על גודל ההקשר במסגרת המגבלה.
להמשיך את הסשן כדי לא לאבד את ההקשר של השיחה אם יש ניתוקים קצרים מהרשת או אחרי שמקבלים התראה על עזיבה.
הגבלות קצב
ל-Live API יש מגבלות קצב גם על מספר הסשנים בו-זמנית לכל פרויקט Firebase וגם על מספר האסימונים לדקה (TPM).
Gemini Developer API:
- המגבלות משתנות בהתאם לGemini Developer API'רמת השימוש' בפרויקט (אפשר לעיין במסמכי הגבלת קצב של יצירת בקשות)
Agent Platform Gemini API (formerly Vertex AI):
- 1,000 סשנים בו-זמניים לכל פרויקט Firebase
- 4 מיליון טוקנים בדקה
פורמטים של מדיה
Live API תומך בסוגי המדיה הבאים:
- קלט: תמונות, אודיו, וידאו
- פלט: אודיו
פורמטים של תמונות
מודל Live API תומך בהזנת תמונות בפורמטים הבאים:
מספר התמונות המקסימלי לכל הנחיה: 3,000
גודל קובץ מקסימלי לכל קובץ (נתונים מוטבעים): 7MB
סוגי MIME נתמכים:
image/png,image/jpeg,image/webp,image/heic,image/heif
פורמטים של אודיו
Live API תומך בפורמטים הבאים של אודיו:
- פורמט אודיו של הקלט: אודיו PCM גולמי של 16 ביט ב-16kHz little-endian
פורמט פלט האודיו: אודיו PCM גולמי של 16 ביט ב-24kHz little-endian
סוגי MIME נתמכים:
audio/x-aac,audio/flac,audio/mp3,audio/m4a,audio/mpeg,audio/mpga,audio/mp4,audio/ogg,audio/pcm,audio/wav,audio/webm
כדי להעביר את תדירות הדגימה של שמע מהקלט, צריך להגדיר את סוג ה-MIME של כל Blob שמכיל שמע לערך כמו audio/pcm;rate=16000.
פורמטים של סרטונים
Live API מצפה לרצף של פריימים נפרדים של תמונות ותומך בקלט של פריימים של סרטונים בקצב של פריים אחד לשנייה (FPS).
קלט מומלץ: רזולוציה מקורית של 768x768 ב-1 FPS.
סוגי MIME נתמכים:
video/x-flv, video/quicktime, video/mpeg,video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp
שימו לב שהמפרט הזה לא מתאים לתרחישי שימוש שבהם נדרש ניתוח של סרטונים שמשתנים במהירות, כמו תיאור של מהלכי משחק בספורט מהיר.Live API
קולות לתגובה
Live API תומך ב-30 קולות שונים באיכות HD, שלכל אחד מהם יש מאפיינים ייחודיים. אפשר להרחיב את הקטע שלמטה כדי לראות רשימה של אפשרויות קול לתשובות ולהאזין להדגמות של כל קול.
אם לא מציינים קול לתשובה, ברירת המחדל היא Puck.
שפות
Live API תומך בשפות הבאות. איך משפיעים על שפת התשובה
שפות שנתמכות בכל המודלים ליצירת אודיו
| שפה | קוד BCP-47 | שפה | קוד BCP-47 |
|---|---|---|---|
| ערבית (מצרית) | ar-EG | גרמנית (גרמניה) | de-DE |
| אנגלית (ארה"ב) | en-US | ספרדית (ארצות הברית) | es-US |
| צרפתית (צרפת) | fr-FR | הינדית (הודו) | hi-IN |
| אינדונזית (אינדונזיה) | id-ID | איטלקית (איטליה) | it-IT |
| יפנית (יפן) | ja-JP | קוריאנית (קוריאה) | ko-KR |
| פורטוגזית (ברזיל) | pt-BR | רוסית (רוסיה) | ru-RU |
| הולנדית (הולנד) | nl-NL | פולנית (פולין) | pl-PL |
| תאית (תאילנד) | th-TH | טורקית (טורקיה) | tr-TR |
| וייטנאמית (וייטנאם) | vi-VN | רומנית (רומניה) | ro-RO |
| אוקראינית (אוקראינה) | uk-UA | בנגלית (בנגלדש) | bn-BD |
| אנגלית (הודו) | חבילה של en-IN ו-hi-IN | מראטהית (הודו) | mr-IN |
| טמילית (הודו) | ta-IN | טלוגו (הודו) | te-IN |
שפות נוספות שנתמכות במודלים ליצירת אודיו מגרסה 3.x
| שפה | קוד BCP-47 | שפה | קוד BCP-47 |
|---|---|---|---|
| אפריקאנס | af | פיליפינית | fil |
| אלבנית | sq | פינית | fi |
| אמהרית | am | גליציאנית | gl |
| ארמנית | hy | גאורגית | ka |
| אזרית | az | יוונית | el |
| בסקית | eu | גוג'ארטי | gu |
| בלארוסית | be | קריאולית האיטית | ht |
| בולגרית | bg | עברית | he |
| בורמזית | my | הונגרית | hu |
| קטלאנית | ca | איסלנדית | is |
| סבואנו | ceb | ג'אוונית | jv |
| סינית, מנדרינית | cmn | קנאדה | kn |
| קרואטית | שעה | קונקאני | kok |
| צ'כית | cs | לאו | lo |
| דנית | da | לטינית | la |
| אסטונית | et | לטבית | lv |
| ליטאית | lt | לוקסמבורגית | lb |
| מקדונית | mk | מאיתילי | mai |
| מלגשית | מ"ג | מלאית | ms |
| מליאלאם | ml | מונגולית | mn |
| נפאלית | ne | נורווגית (ספרותית) | nb |
| נורווגית, Nynorsk | nn | אודיה | או |
| פשטו | ps | פרסית | fa |
| פנג'אבי | pa | סרבית | sr |
| סינדהית | sd | סינהאלה | si |
| סלובקית | sk | סלובנית | sl |
| סווהילי | sw | שוודית | sv |
| אורדו | ur |