আপনি Gemini মডেলকে আপনার দেওয়া অডিও ফাইল বিশ্লেষণ করতে বলতে পারেন যা ইনলাইন (base64-এনকোড করা) বা URL-এর মাধ্যমে দেওয়া হয়েছে। আপনি Firebase AI Logic ব্যবহার করলে, আপনার অ্যাপ থেকে সরাসরি এই অনুরোধ করতে পারবেন।
এই ক্ষমতা ব্যবহার করে, আপনি এগুলি করতে পারবেন:
- অডিও কন্টেন্ট সম্পর্কে বর্ণনা, সারসংক্ষেপ বা প্রশ্নের উত্তর দেওয়া
- অডিও কন্টেন্ট ট্রান্সক্রাইব করা
- টাইমস্ট্যাম্প ব্যবহার করে অডিওর নির্দিষ্ট সেগমেন্ট বিশ্লেষণ করা
এই নির্দেশিকা অডিও ইনপুট থেকে টেক্সট জেনারেট করা সম্পর্কে।
কোড স্যাম্পেলে যান স্ট্রিম করা উত্তরের কোডে যান
|
অডিও নিয়ে কাজ করার জন্য অতিরিক্ত বিকল্প পেতে অন্যান্য নির্দেশিকা দেখুন স্ট্রাকচার্ড আউটপুট জেনারেট করা মাল্টি-টার্ন চ্যাট টেক্সট-টু-স্পিচ (TTS) দ্বিমুখী স্ট্রিমিং |
শুরু করার আগে
|
এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট কন্টেন্ট ও কোড দেখতে আপনার Gemini API প্রদানকারীর আইকনে ক্লিক করুন। |
আপনি এখনও না করে থাকলে,
শুরু করার নির্দেশিকা সম্পূর্ণ করুন, যা বর্ণনা করে যে কীভাবে
আপনার Firebase প্রোজেক্ট সেট-আপ করতে হয়, Firebase-এর সাথে আপনার অ্যাপ কানেক্ট করতে হয়, SDK যোগ করতে হয়,
আপনার বেছে নেওয়া Gemini API প্রদানকারীর জন্য ব্যাকএন্ড পরিষেবা চালু করতে হয় এবং
GenerativeModel ইনস্ট্যান্স তৈরি করতে হয়।
আপনার প্রম্পট পরীক্ষা ও ইটারেট করার জন্য, আমরা Google AI Studio ব্যবহার করার সাজেশন দিই।
এই ক্ষমতা কাজ করে এমন মডেল
এই নির্দেশিকা অডিও ইনপুট থেকে টেক্সট জেনারেট করা সম্পর্কে এবং এটি নিম্নলিখিত Gemini মডেলের ক্ষেত্রে প্রযোজ্য:
gemini-3.1-pro-previewgemini-3.8-flash(এবং এর আগেরgemini-3.7-flash,gemini-3.6-flashওgemini-3.5-flash)gemini-3.5-flash-lite(এবং পুরনোgemini-3.1-flash-lite)
সাধারণ-ব্যবহারের Gemini 2.5 মডেলগুলিতে এই কেপেবিলিটি কাজ করে, তবে সেগুলি সবকটিই বাতিল করা হয়েছে।
অডিও ফাইল থেকে টেক্সট জেনারেট করা (base64-এনকোড করা)
|
এই নমুনা চেষ্টা করার আগে, আপনার প্রজেক্ট ও অ্যাপ সেট-আপ করতে
এই গাইডের শুরু করার আগে বিভাগটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনার বেছে নেওয়া Gemini API প্রদানকারীর জন্য একটি বোতামেও ক্লিক করবেন যাতে আপনি এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট কন্টেন্ট দেখতে পান। |
আপনি Gemini মডেলকে
টেক্সট ও অডিওর মাধ্যমে প্রম্পট করে টেক্সট জেনারেট করতে বলতে পারেন—এর জন্য
ইনপুট ফাইলের mimeType ও ফাইলটি দিতে হবে। এই পৃষ্ঠায় পরে
ইনপুট ফাইলের প্রয়োজনীয়তা ও সাজেশন
দেখুন।
Swift
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
generateContent()
কল করতে পারেন।
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case.
let model = ai.generativeModel(modelName: "gemini-3.8-flash")
// Provide the audio as `Data`
guard let audioData = try? Data(contentsOf: audioURL) else {
print("Error loading audio data.")
return // Or handle the error appropriately
}
// Specify the appropriate audio MIME type
let audio = InlineDataPart(data: audioData, mimeType: "audio/mpeg")
// Provide a text prompt to include with the audio
let prompt = "Transcribe what's said in this audio recording."
// To generate text output, call `generateContent` with the audio and text prompt
let response = try await model.generateContent(audio, prompt)
// Print the generated text, handling the case where it might be nil
print(response.text ?? "No text in response.")
Kotlin
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
generateContent()
কল করতে পারেন।
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash")
val contentResolver = applicationContext.contentResolver
val inputStream = contentResolver.openInputStream(audioUri)
if (inputStream != null) { // Check if the audio loaded successfully
inputStream.use { stream ->
val bytes = stream.readBytes()
// Provide a prompt that includes the audio specified above and text
val prompt = content {
inlineData(bytes, "audio/mpeg") // Specify the appropriate audio MIME type
text("Transcribe what's said in this audio recording.")
}
// To generate text output, call `generateContent` with the prompt
val response = model.generateContent(prompt)
// Log the generated text, handling the case where it might be null
Log.d(TAG, response.text?: "")
}
} else {
Log.e(TAG, "Error getting input stream for audio.")
// Handle the error appropriately
}
Java
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
generateContent()
কল করতে পারেন।
ListenableFutureফেরত দেয়।
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
try (InputStream stream = resolver.openInputStream(audioUri)) {
File audioFile = new File(new URI(audioUri.toString()));
int audioSize = (int) audioFile.length();
byte audioBytes = new byte[audioSize];
if (stream != null) {
stream.read(audioBytes, 0, audioBytes.length);
stream.close();
// Provide a prompt that includes the audio specified above and text
Content prompt = new Content.Builder()
.addInlineData(audioBytes, "audio/mpeg") // Specify the appropriate audio MIME type
.addText("Transcribe what's said in this audio recording.")
.build();
// To generate text output, call `generateContent` with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String text = result.getText();
Log.d(TAG, (text == null) ? "" : text);
}
@Override
public void onFailure(Throwable t) {
Log.e(TAG, "Failed to generate a response", t);
}
}, executor);
} else {
Log.e(TAG, "Error getting input stream for file.");
// Handle the error appropriately
}
} catch (IOException e) {
Log.e(TAG, "Failed to read the audio file", e);
} catch (URISyntaxException e) {
Log.e(TAG, "Invalid audio file", e);
}
Web
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
generateContent()
কল করতে পারেন।
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case.
const model = getGenerativeModel(ai, { model: "gemini-3.8-flash" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(','));
reader.readAsDataURL(file);
});
return {
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the audio
const prompt = "Transcribe what's said in this audio recording.";
// Prepare audio for input
const fileInputEl = document.querySelector("input[type=file]");
const audioPart = await fileToGenerativePart(fileInputEl.files);
// To generate text output, call `generateContent` with the text and audio
const result = await model.generateContent([prompt, audioPart]);
// Log the generated text, handling the case where it might be undefined
console.log(result.response.text() ?? "No text in response.");
}
run();
Dart
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
generateContent()
কল করতে পারেন।
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-3.8-flash');
// Provide a text prompt to include with the audio
final prompt = TextPart("Transcribe what's said in this audio recording.");
// Prepare audio for input
final audio = await File('audio0.mp3').readAsBytes();
// Provide the audio as `Data` with the appropriate audio MIME type
final audioPart = InlineDataPart('audio/mpeg', audio);
// To generate text output, call `generateContent` with the text and audio
final response = await model.generateContent([
Content.multi([prompt,audioPart])
]);
// Print the generated text
print(response.text);
Unity
টেক্সট ও একটি অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট জেনারেট করতে, আপনি
GenerateContentAsync()
কল করতে পারেন।
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case.
var model = ai.GetGenerativeModel(modelName: "gemini-3.8-flash");
// Provide a text prompt to include with the audio
var prompt = ModelContent.Text("Transcribe what's said in this audio recording.");
// Provide the audio as `data` with the appropriate audio MIME type
var audio = ModelContent.InlineData("audio/mpeg",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "audio0.mp3")));
// To generate text output, call `GenerateContentAsync` with the text and audio
var response = await model.GenerateContentAsync(new [] { prompt, audio });
// Print the generated text
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
আপনার ব্যবহারিক ক্ষেত্র ও অ্যাপের জন্য উপযুক্ত মডেল কীভাবে বেছে নিতে হয় তা জানুন।
উত্তর স্ট্রিম করা
|
এই নমুনা চেষ্টা করার আগে, আপনার প্রজেক্ট ও অ্যাপ সেট-আপ করতে
এই গাইডের শুরু করার আগে বিভাগটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনার বেছে নেওয়া Gemini API প্রদানকারীর জন্য একটি বোতামেও ক্লিক করবেন যাতে আপনি এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট কন্টেন্ট দেখতে পান। |
মডেল জেনারেশন থেকে সম্পূর্ণ ফলাফল পাওয়ার জন্য অপেক্ষা না করে, আপনি আরও দ্রুত ইন্টার্যাকশন করতে পারেন।
এর পরিবর্তে, আংশিক ফলাফল ম্যানেজ করার জন্য স্ট্রিমিং ব্যবহার করুন।
উত্তর স্ট্রিম করতে, generateContentStream কল করুন।
ইনপুট অডিও ফাইলের জন্য প্রয়োজনীয়তা ও সাজেশন
মনে রাখবেন, ইনলাইন ডেটা হিসেবে প্রদান করা ফাইল ট্রানজিটের সময় base64-এ এনকোড করা হয়, যার ফলে অনুরোধের সাইজ বেড়ে যায়। কোনও অনুরোধ খুব বড় হলে আপনি HTTP 413 সমস্যা দেখতে পাবেন।
নিম্নলিখিত বিষয়গুলি সম্পর্কে বিস্তারিত তথ্য জানতে "সাপোর্ট করে এমন ইনপুট ফাইল ও প্রয়োজনীয়তা" পৃষ্ঠা দেখুন:
- অনুরোধে ফাইল জমা দেওয়ার বিভিন্ন বিকল্প (ইনলাইন বা ফাইলের URL বা URI ব্যবহার করে)
- অডিও ফাইলের জন্য প্রয়োজনীয় বিষয় ও পেশাদার পদ্ধতি
কাজ করে এমন অডিও MIME-এর ধরন
Gemini মাল্টিমোডাল মডেল নিম্নলিখিত অডিও MIME ধরন সাপোর্ট করে:
- AAC -
audio/aac - FLAC -
audio/flac - MP3 -
audio/mp3 - MPA -
audio/m4a - MPEG -
audio/mpeg - MPGA -
audio/mpga - MP4 -
audio/mp4 - OPUS -
audio/opus - PCM -
audio/pcm - WAV -
audio/wav - WEBM -
audio/webm
অনুরোধ পিছু সীমা
প্রতিটি অনুরোধে সর্বাধিক ফাইল: ১টি অডিও ফাইল
আপনি আর কী করতে পারেন?
- মডেলকে বড় প্রম্পট পাঠানোর আগে, টোকেন কীভাবে গণনা করতে হয় তা জানুন।
- সেট-আপ Cloud Storage for Firebase যাতে আপনি মাল্টিমোডাল অনুরোধে বড় ফাইল অন্তর্ভুক্ত করতে পারেন এবং প্রম্পটে ফাইল দেওয়ার জন্য আরও ম্যানেজ করা সমাধান পেতে পারেন। ফাইলে ছবি, পিডিএফ, ভিডিও ও অডিও থাকতে পারে।
-
প্রোডাকশনের জন্য প্রস্তুতি নেওয়া শুরু করুন (দেখুন
প্রোডাকশন চেকলিস্ট):
- Firebase App Check এনফোর্স করুন যত তাড়াতাড়ি সম্ভব, যাতে Gemini API-কে অননুমোদিত ক্লায়েন্টের অপব্যবহার থেকে রক্ষা করা যায়।
- ব্যবহার করুন Firebase Remote Config অথবা সার্ভার প্রম্পট টেমপ্লেট যাতে আপনার AI ফিচারের (যেমন মডেলের নাম) কনফিগারেশনে চাহিদা মতো পরিবর্তন করতে পারেন, এর জন্য অ্যাপের নতুন ভার্সন রিলিজ করার প্রয়োজন হবে না।
অন্যান্য সুবিধা ব্যবহার করে দেখুন
- একাধিকবার কথোপকথন (চ্যাট) তৈরি করো।
- শুধুমাত্র টেক্সট প্রম্পট থেকে টেক্সট জেনারেট করো।
- টেক্সট ও মাল্টিমোডাল প্রম্পট, দু'টি থেকেই স্ট্রাকচার্ড আউটপুট (যেমন JSON) তৈরি করো ।
- টেক্সট ও মাল্টিমোডাল প্রম্পট, দুই ধরনের প্রম্পট থেকেই ছবি জেনারেট ও এডিট করা যায়।
- স্পিচ জেনারেট করা (সিঙ্গেল ও মাল্টিপল স্পিকার) Gemini টেক্সট-টু-স্পিচ (TTS) মডেল ব্যবহার করে।
- Gemini Live API ব্যবহার করে স্ট্রিম ইনপুট ও আউটপুট (অডিও সহ) দেখুন।
-
আপনার অ্যাপের অন্যান্য অংশ এবং এক্সটার্নাল
সিস্টেম ও তথ্যের সাথে Gemini মডেল কানেক্ট করতে, টুল ব্যবহার করুন (যেমন ফাংশন কলিং
এবং গ্রাউন্ডিংয়ের সাথে
Google Search বাGoogle Maps )
কন্টেন্ট জেনারেশন কীভাবে নিয়ন্ত্রণ করতে হয় তা জানুন
- প্রম্পট ডিজাইন সম্পর্কে জানুন, যার মধ্যে রয়েছে পেশাদার পদ্ধতি, কৌশল ও প্রম্পটের উদাহরণ।
- মডেল প্যারামিটার কনফিগার করুন যেমন সর্বাধিক আউটপুট টোকেন, রিপিট করা আউটপুট টোকেনের সম্ভাবনা ইত্যাদি।
- ক্ষতিকর হিসেবে বিবেচিত হতে পারে এমন উত্তর পাওয়ার সম্ভাবনা অ্যাডজাস্ট করতে নিরাপত্তা সেটিংস ব্যবহার করুন।
কাজ করে এমন মডেল সম্পর্কে আরও জানুন
বিভিন্ন ব্যবহারের ক্ষেত্রে উপলভ্য মডেল এবং সেগুলির কোটা ও দাম সম্পর্কে জানুন।Firebase AI Logic-এর সাথে আপনার অভিজ্ঞতা সম্পর্কে মতামত জানান