אתם יכולים לבקש ממודל Gemini לנתח קובצי וידאו שאתם מספקים, או בתוך השורה (בקידוד base64) או באמצעות כתובת URL. כשמשתמשים ב-Firebase AI Logic, אפשר לשלוח את הבקשה הזו ישירות מהאפליקציה.
היכולת הזו מאפשרת לכם:
- להוסיף כתוביות לסרטונים ולענות על שאלות לגביהם
- לנתח קטעים ספציפיים בסרטון באמצעות חותמות זמן
- לתמלל קטע וידאו על ידי עיבוד של טראק האודיו והפריימים החזותיים
- לתאר, לפלח ולחלץ מידע מסרטונים, כולל טראק האודיו והפריימים החזותיים
המדריך הזה עוסק ביצירת טקסט מקלט וידאו, אבל אתם יכולים גם ליצור תמונות מקלט וידאו.
דילוג לדוגמאות קוד דילוג לקוד של תשובות בסטרימינג
|
מדריכים נוספים עם אפשרויות נוספות לעבודה עם סרטונים יצירת פלט מובנה שיחה עם זיכרון יצירת תמונות |
לפני שמתחילים
|
כדי לראות תוכן וקוד שספציפיים לספק, לוחצים על הספק Gemini API בדף הזה. |
אם עדיין לא עשיתם את זה, אתם צריכים לפעול לפי המדריך לתחילת העבודה, שבו מוסבר איך להגדיר את הפרויקט ב-Firebase, לקשר את האפליקציה ל-Firebase, להוסיף את ה-SDK, להפעיל את שירות הקצה העורפי של ספק ה-Gemini API שבחרתם וליצור מכונה של GenerativeModel.
כדי לבדוק את ההנחיות ולשפר אותן, מומלץ להשתמש ב-Google AI Studio.
מודלים שתומכים ביכולת הזו
המדריך הזה עוסק ביצירת טקסט דינמי מבוסס-AI מקלט של וידאו, והוא רלוונטי למודלים הבאים של Gemini:
gemini-4-argon-
gemini-3.8-flash(והגרסאות הישנות יותרgemini-3.7-flash,gemini-3.6-flashו-gemini-3.5-flash) -
gemini-3.5-flash-lite(וגםgemini-3.1-flash-liteהישן יותר)
גם המודלים gemini-3.1-pro-preview ו-Gemini 2.5 לשימוש כללי (שיצאו משימוש) תומכים ביכולת הזו.
יצירת טקסט מקובצי וידאו (בקידוד base64)
|
לפני שמנסים את הדוגמה הזו, צריך להשלים את השלבים בקטע לפני שמתחילים במדריך הזה כדי להגדיר את הפרויקט והאפליקציה. בקטע הזה, צריך גם ללחוץ על כפתור של ספק Gemini API שבחרתם כדי לראות תוכן ספציפי לספק בדף הזה. |
אתם יכולים לבקש ממודל Gemini ליצור טקסט באמצעות הנחיה עם טקסט וסרטון – על ידי ציון ה-mimeType של כל קובץ קלט והקובץ עצמו. בהמשך הדף מפורטות הדרישות וההמלצות לקובצי קלט.
Swift
אתם יכולים להפעיל את generateContent() כדי ליצור טקסט דינמי מבוסס-AI מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case.
let model = ai.generativeModel(modelName: "gemini-3.8-flash")
// Provide the video as `Data` with the appropriate MIME type.
let video = InlineDataPart(data: try Data(contentsOf: videoURL), mimeType: "video/mp4")
// Provide a text prompt to include with the video
let prompt = "What is in the video?"
// To generate text output, call generateContent with the text and video
let response = try await model.generateContent(video, prompt)
print(response.text ?? "No text in response.")
Kotlin
אתם יכולים להפעיל את generateContent() כדי ליצור טקסט דינמי מבוסס-AI מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash")
val contentResolver = applicationContext.contentResolver
contentResolver.openInputStream(videoUri).use { stream ->
stream?.let {
val bytes = stream.readBytes()
// Provide a prompt that includes the video specified above and text
val prompt = content {
inlineData(bytes, "video/mp4")
text("What is in the video?")
}
// To generate text output, call generateContent with the prompt
val response = model.generateContent(prompt)
Log.d(TAG, response.text ?: "")
}
}
Java
אתם יכולים להפעיל את generateContent() כדי ליצור טקסט דינמי מבוסס-AI מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
ListenableFuture.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
try (InputStream stream = resolver.openInputStream(videoUri)) {
File videoFile = new File(new URI(videoUri.toString()));
int videoSize = (int) videoFile.length();
byte[] videoBytes = new byte[videoSize];
if (stream != null) {
stream.read(videoBytes, 0, videoBytes.length);
stream.close();
// Provide a prompt that includes the video specified above and text
Content prompt = new Content.Builder()
.addInlineData(videoBytes, "video/mp4")
.addText("What is in the video?")
.build();
// To generate text output, call generateContent with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String resultText = result.getText();
System.out.println(resultText);
}
@Override
public void onFailure(Throwable t) {
t.printStackTrace();
}
}, executor);
}
} catch (IOException e) {
e.printStackTrace();
} catch (URISyntaxException e) {
e.printStackTrace();
}
Web
אתם יכולים להפעיל את generateContent() כדי ליצור טקסט דינמי מבוסס-AI מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case.
const model = getGenerativeModel(ai, { model: "gemini-3.8-flash" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(',')[1]);
reader.readAsDataURL(file);
});
return {
type: "inlineData",
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the video
const prompt = "What do you see?";
const fileInputEl = document.querySelector("input[type=file]");
const videoPart = await fileToGenerativePart(fileInputEl.files[0]);
// To generate text output, call generateContent with the text and video
const result = await model.generateContent([prompt, videoPart]);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Dart
אפשר להפעיל את generateContent() כדי ליצור טקסט מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-3.8-flash');
// Provide a text prompt to include with the video
final prompt = TextPart("What's in the video?");
// Prepare video for input
final video = await File('video0.mp4').readAsBytes();
// Provide the video as `Data` with the appropriate mimetype
final videoPart = InlineDataPart('video/mp4', video);
// To generate text output, call generateContent with the text and images
final response = await model.generateContent([
Content.multi([prompt, videoPart])
]);
print(response.text);
Unity
אתם יכולים להפעיל את GenerateContentAsync() כדי ליצור טקסט דינמי מבוסס-AI מקלט מולטי-מודאלי של קובצי טקסט ווידאו.
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case.
var model = ai.GetGenerativeModel(modelName: "gemini-3.8-flash");
// Provide the video as `data` with the appropriate MIME type.
var video = ModelContent.InlineData("video/mp4",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "yourVideo.mp4")));
// Provide a text prompt to include with the video
var prompt = ModelContent.Text("What is in the video?");
// To generate text output, call GenerateContentAsync with the text and video
var response = await model.GenerateContentAsync(new [] { video, prompt });
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
איך בוחרים מודל שמתאימים לתרחיש לדוגמה ולאפליקציה.
הצגת התשובה באופן שוטף
|
לפני שמנסים את הדוגמה הזו, צריך להשלים את השלבים בקטע לפני שמתחילים במדריך הזה כדי להגדיר את הפרויקט והאפליקציה. בקטע הזה, צריך גם ללחוץ על כפתור של ספק Gemini API שבחרתם כדי לראות תוכן ספציפי לספק בדף הזה. |
כדי לקבל אינטראקציות מהירות יותר, אתם יכולים להשתמש בסטרימינג כדי לטפל בתוצאות חלקיות, במקום לחכות לתוצאה המלאה מהמודל.
כדי להעביר את התשובה בסטרימינג, צריך להפעיל את generateContentStream.
דרישות והמלצות לגבי קובצי וידאו לקלט
שימו לב שקובץ שסופק כנתונים מוטבעים מקודד ל-base64 במהלך ההעברה, מה שמגדיל את גודל הבקשה. אם הבקשה גדולה מדי, תתקבל שגיאת HTTP 413.
בדף "קבצי קלט נתמכים ודרישות" מפורט מידע על:
- אפשרויות שונות להוספת קובץ לבקשה (באופן מוטבע או באמצעות כתובת ה-URL או ה-URI של הקובץ)
- דרישות ושיטות מומלצות לקובצי וידאו
סוגי MIME נתמכים של סרטונים
המודלים המולטי-מודאליים של Gemini תומכים בסוגי ה-MIME הבאים של סרטונים:
- FLV -
video/x-flv - MOV –
video/quicktime - MPEG -
video/mpeg - MPEGPS –
video/mpegps - MPG -
video/mpg - MP4 –
video/mp4 - WEBM –
video/webm - WMV –
video/wmv - 3GPP –
video/3gpp
מגבלות לכל בקשה
מספר הקבצים המקסימלי לבקשה: 10 קובצי וידאו
מה עוד אפשר לעשות?
- איך סופרים טוקנים לפני ששולחים הנחיות ארוכות למודל.
- להגדיר את Cloud Storage for Firebase כדי לכלול קבצים גדולים בבקשות המולטי-מודאליות, ולקבל פתרון מנוהל יותר להוספת קבצים בהנחיות. הקבצים יכולים לכלול תמונות, קובצי PDF, סרטונים וקטעי אודיו.
-
מתחילים לחשוב על הכנה לייצור (ראו את רשימת המשימות לייצור):
- אכפו את Firebase App Check מוקדם ככל האפשר כדי להגן על Gemini API מפני ניצול לרעה על ידי לקוחות לא מורשים.
- כדאי להשתמש בFirebase Remote Config או בתבניות לפרומפט בשרת כדי שתוכלו לשנות על פי דרישה את ההגדרות של תכונת ה-AI (כמו שם המודל) בלי להשיק גרסה חדשה של האפליקציה.
לנסות יכולות אחרות
- לפתח שיחות עם זיכרון (צ'אט).
- ליצור טקסט דינמי מבוסס-AI מהנחיות טקסט בלבד.
- ליצור פלט מובנה (כמו JSON) גם מהנחיות טקסט וגם מהנחיות מולטי-מודאליות.
- ליצור ולערוך תמונות באמצעות פרומפטים טקסטואליים ומולטי-מודאליים.
- ליצור דיבור (של דובר אחד או של כמה דוברים) באמצעות מודלים של המרת טקסט לדיבור (TTS) ב-Gemini.
-
להשתמש בכלים (כמו קריאה להפעלת פונקציות וביסוס באמצעות
Google Search אוGoogle Maps ) כדי לקשר מודל Gemini לחלקים אחרים באפליקציה ולמערכות ולמידע חיצוניים.
איך לשלוט ביצירת התוכן
- הסבר על עיצוב הנחיות, כולל שיטות מומלצות, אסטרטגיות ודוגמאות להנחיות.
- להגדיר פרמטרים של המודל, כמו המספר המקסימלי של טוקנים בפלט, הסבירות של טוקנים חוזרים בפלט וכו'.
- להשתמש בהגדרות הבטיחות כדי לשנות את הסבירות לקבלת תשובות שעלולות להיחשב כמזיקות.
מידע נוסף על המודלים הנתמכים
מידע ולמידה על המודלים שזמינים לתרחישי שימוש שונים, המכסות והתמחור שלהם.שליחת משוב על חוויית השימוש ב-Firebase AI Logic