میتوانید از مدل Gemini بخواهید فایلهای ویدیویی را که ارائه میدهید بهصورت درونخطی (کدبندیشده با base64) یا ازطریق نشانی وب تجزیهوتحلیل کند. وقتی از Firebase AI Logic استفاده میکنید، میتوانید این درخواست را مستقیماً از برنامهتان انجام دهید.
با این قابلیت میتوانید کارهایی ازاینقبیل انجام دهید:
- زیرنویس کردن و پاسخ دادن به پرسشهای مربوط به ویدیوها
- تحلیل بخشهای خاصی از ویدیو بااستفاده از مُهرهای زمان
- آوانویسی محتوای ویدیویی با پردازش قطعه صوتی و فریمهای تصویری
- توصیف، بخشبندی، و استخراج اطلاعات از ویدیوها، ازجمله قطعه صوتی و قابهای دیداری
این راهنما درباره تولید نوشتار از ورودی ویدیو است، اما میتوانید از ورودی ویدیو تصویر هم تولید کنید.
پرش به نمونههای کد پرش به کد برای پاسخهای جاریشده
|
برای گزینههای بیشتر برای کار با ویدیو، راهنماهای دیگر را ببینید تولید کردن برونداد ساختاریافته گپ چندنوبتی تولید کردن تصویر |
قبل از شروع
|
روی ارائهدهنده Gemini API کلیک کنید تا محتوا و کد مختص ارائهدهنده را در این صفحه ببینید. |
اگر قبلاً این کار را نکردهاید،
راهنمای شروع به کار را تکمیل کنید که نحوه
راهاندازی پروژه Firebase، اتصال برنامه به Firebase، افزودن کیت توسعه نرمافزار،
مقداردهی اولیه سرویس پسبست برای ارائهدهنده Gemini API انتخابی، و
ایجاد نمونه GenerativeModel را شرح میدهد.
برای آزمایش و تکرار کردن پیاموارههایتان، توصیه میکنیم از Google AI Studio استفاده کنید.
مدلهایی که از این قابلیت پشتیبانی میکنند
این راهنما درباره تولید نوشتار از ورودی ویدیو است و برای مدلهای Gemini زیر قابلاجرا است:
gemini-4-argon-
gemini-3.8-flash(و مدلهای قدیمیترgemini-3.7-flash،gemini-3.6-flash، وgemini-3.5-flash) -
gemini-3.5-flash-lite(وgemini-3.1-flash-liteقدیمیتر)
مدلهای gemini-3.1-pro-preview و Gemini 2.5 با کاربرد عمومی (که
منسوخ شدهاند) نیز از این قابلیت پشتیبانی میکنند.
تولید نوشتار از فایلهای ویدیویی (کدگذاریشده با base64)
|
قبلاز امتحان کردن این نمونه، بخش
قبلاز شروع این راهنما را تکمیل کنید
تا پروژه و برنامهتان را راهاندازی کنید. در آن بخش، روی دکمهای برای ارائهدهنده انتخابیتان Gemini API نیز کلیک خواهید کرد تا محتوای مختص ارائهدهنده را در این صفحه ببینید. |
میتوانید از مدل Gemini بخواهید
با پیامواره نوشتاری و ویدیویی نوشتار تولید کند—mimeType هر فایل ورودی و خود فایل را ارائه دهید. الزامات و توصیههای مربوط به فایلهای ورودی را در ادامه این صفحه ببینید.
Swift
میتوانید
generateContent()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case.
let model = ai.generativeModel(modelName: "gemini-3.8-flash")
// Provide the video as `Data` with the appropriate MIME type.
let video = InlineDataPart(data: try Data(contentsOf: videoURL), mimeType: "video/mp4")
// Provide a text prompt to include with the video
let prompt = "What is in the video?"
// To generate text output, call generateContent with the text and video
let response = try await model.generateContent(video, prompt)
print(response.text ?? "No text in response.")
Kotlin
میتوانید
generateContent()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash")
val contentResolver = applicationContext.contentResolver
contentResolver.openInputStream(videoUri).use { stream ->
stream?.let {
val bytes = stream.readBytes()
// Provide a prompt that includes the video specified above and text
val prompt = content {
inlineData(bytes, "video/mp4")
text("What is in the video?")
}
// To generate text output, call generateContent with the prompt
val response = model.generateContent(prompt)
Log.d(TAG, response.text ?: "")
}
}
Java
میتوانید
generateContent()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
ListenableFuture را برمیگرداند.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
try (InputStream stream = resolver.openInputStream(videoUri)) {
File videoFile = new File(new URI(videoUri.toString()));
int videoSize = (int) videoFile.length();
byte[] videoBytes = new byte[videoSize];
if (stream != null) {
stream.read(videoBytes, 0, videoBytes.length);
stream.close();
// Provide a prompt that includes the video specified above and text
Content prompt = new Content.Builder()
.addInlineData(videoBytes, "video/mp4")
.addText("What is in the video?")
.build();
// To generate text output, call generateContent with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String resultText = result.getText();
System.out.println(resultText);
}
@Override
public void onFailure(Throwable t) {
t.printStackTrace();
}
}, executor);
}
} catch (IOException e) {
e.printStackTrace();
} catch (URISyntaxException e) {
e.printStackTrace();
}
Web
میتوانید
generateContent()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case.
const model = getGenerativeModel(ai, { model: "gemini-3.8-flash" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(',')[1]);
reader.readAsDataURL(file);
});
return {
type: "inlineData",
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the video
const prompt = "What do you see?";
const fileInputEl = document.querySelector("input[type=file]");
const videoPart = await fileToGenerativePart(fileInputEl.files[0]);
// To generate text output, call generateContent with the text and video
const result = await model.generateContent([prompt, videoPart]);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Dart
میتوانید
generateContent()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-3.8-flash');
// Provide a text prompt to include with the video
final prompt = TextPart("What's in the video?");
// Prepare video for input
final video = await File('video0.mp4').readAsBytes();
// Provide the video as `Data` with the appropriate mimetype
final videoPart = InlineDataPart('video/mp4', video);
// To generate text output, call generateContent with the text and images
final response = await model.generateContent([
Content.multi([prompt, videoPart])
]);
print(response.text);
Unity
میتوانید
GenerateContentAsync()
را فراخوانی کنید تا از ورودی چندحالتی فایلهای نوشتاری و ویدیویی، نوشتار تولید کنید.
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case.
var model = ai.GetGenerativeModel(modelName: "gemini-3.8-flash");
// Provide the video as `data` with the appropriate MIME type.
var video = ModelContent.InlineData("video/mp4",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "yourVideo.mp4")));
// Provide a text prompt to include with the video
var prompt = ModelContent.Text("What is in the video?");
// To generate text output, call GenerateContentAsync with the text and video
var response = await model.GenerateContentAsync(new [] { video, prompt });
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
با نحوه انتخاب مدل مناسب برای مورد استفاده و برنامه خود آشنا شوید.
جاریسازی پاسخ
|
قبلاز امتحان کردن این نمونه، بخش
قبلاز شروع این راهنما را تکمیل کنید
تا پروژه و برنامهتان را راهاندازی کنید. در آن بخش، روی دکمهای برای ارائهدهنده انتخابیتان Gemini API نیز کلیک خواهید کرد تا محتوای مختص ارائهدهنده را در این صفحه ببینید. |
با منتظر نماندن برای دریافت کل نتیجه از تولید مدل و درعوض استفاده از جاریسازی برای مدیریت نتایج جزئی، میتوانید تعاملهای سریعتری داشته باشید.
برای جاریسازی پاسخ، generateContentStream را فراخوانی کنید.
الزامات و توصیهها برای فایلهای ویدیویی ورودی
توجه داشته باشید که فایلی که بهعنوان داده درونخطی ارائه میشود، در حین انتقال به base64 کدگذاری میشود که اندازه درخواست را افزایش میدهد. اگر درخواست خیلی بزرگ باشد، خطای HTTP 413 دریافت میکنید.
برای کسب اطلاعات دقیق درباره موارد زیر، به صفحه «فایلهای ورودی پشتیبانیشده و الزامات» مراجعه کنید:
- گزینههای مختلف برای ارائه فایل در درخواست (بهصورت درونخطی یا بااستفاده از نشانی وب یا شناسه منبع یکسان فایل)
- الزامات و روالهای مطلوب برای فایلهای ویدیویی
انواع MIME ویدیو پشتیبانیشده
مدلهای چندحالتی Gemini از انواع رسانه ویدیویی زیر پشتیبانی میکنند:
- FLV -
video/x-flv - MOV -
video/quicktime - MPEG -
video/mpeg - MPEGPS -
video/mpegps - مایل در هر گالن -
video/mpg - MP4 -
video/mp4 - WEBM -
video/webm - WMV -
video/wmv - 3GPP -
video/3gpp
محدودیتهای هر درخواست
حداکثر تعداد فایل در هر درخواست: ۱۰ فایل ویدیویی
چه کارهای دیگری میتوانید انجام دهید؟
- با نحوه شمارش کردن نشانهها پیشاز ارسال پیاموارههای طولانی به مدل آشنا شوید.
- Cloud Storage for Firebase را راهاندازی کنید تا بتوانید فایلهای بزرگ را در درخواستهای چندحالتی خود بگنجانید و راهحل مدیریتشدهتری برای ارائه فایلها در پیاموارهها داشته باشید. فایلها میتوانند شامل تصاویر، فایلهای PDF، ویدیو، و صدا باشند.
-
به آماده شدن برای تولید فکر کنید (به
بازبینه تولید مراجعه کنید):
- Firebase App Check را در اسرع وقت اجرا کنید تا به محافظت از Gemini API دربرابر سوءاستفاده کارخواههای غیرمجاز کمک کنید.
- از Firebase Remote Config یا الگوهای پیامواره سرور استفاده کنید تا بتوانید تغییرات درخواستی را در پیکربندیهای ویژگی هوش مصنوعی خود (مانند نام مدل) بدون انتشار نسخه جدیدی از برنامهتان اعمال کنید.
امتحان کردن قابلیتهای دیگر
- مکالمههای چندنوبتی (گپ) بسازید.
- تولید نوشتار از پیاموارههای فقط نوشتاری.
- برونداد ساختاریافته (مثل JSON) از پیاموارههای نوشتاری و چندحالته تولید کنید.
- تصاویر را از پیاموارههای نوشتاری و چندحالته تولید و ویرایش کنید.
- تولید گفتار (هم تکگوینده و هم چندگوینده) بااستفاده از مدلهای Gemini نوشتار به گفتار (TTS).
-
از ابزارهایی (مانند فراخوانی تابع
و «پایهسازی» با
Google Search یاGoogle Maps ) برای متصل کردن مدل Gemini به بخشهای دیگر برنامهتان و سیستمها و اطلاعات خارجی استفاده کنید.
با نحوه کنترل تولید محتوا آشنا شوید
- آشنایی با طراحی پیامواره، ازجمله روالهای مطلوب، استراتژیها، و پیاموارههای نمونه.
- پارامترهای مدل را پیکربندی کنید، مانند حداکثر دادهواحدهای برونداد، احتمال تکرار دادهواحدهای برونداد، و غیره.
- از تنظیمات ایمنی استفاده کنید تا احتمال دریافت پاسخهایی را که ممکن است مضر تلقی شوند تنظیم کنید.
درباره مدلهای پشتیبانیشده بیشتر بدانید
با مدلهای دردسترس برای موارد استفاده مختلف و سهمیهها و قیمتگذاری آنها آشنا شوید.درباره تجربهتان با Firebase AI Logic بازخورد ارائه دهید