Gemini API ব্যবহার করে অডিও ফাইল বিশ্লেষণ করুন৷

আপনি ইনলাইন (বেস৬৪-এনকোডেড) অথবা ইউআরএল-এর মাধ্যমে সরবরাহ করা অডিও ফাইলগুলো বিশ্লেষণ করার জন্য একটি জেমিনি মডেলকে অনুরোধ করতে পারেন। যখন আপনি ফায়ারবেস এআই লজিক ব্যবহার করেন, তখন আপনি সরাসরি আপনার অ্যাপ থেকে এই অনুরোধটি করতে পারেন।

এই সক্ষমতা দিয়ে আপনি নিম্নলিখিত কাজগুলো করতে পারবেন:

  • অডিও বিষয়বস্তু সম্পর্কে বর্ণনা করুন, সারসংক্ষেপ করুন বা প্রশ্নের উত্তর দিন।
  • অডিও বিষয়বস্তু প্রতিলিপি করুন
  • টাইমস্ট্যাম্প ব্যবহার করে অডিওর নির্দিষ্ট অংশ বিশ্লেষণ করুন

কোড যান। স্ট্রিম করা প্রতিক্রিয়াগুলির জন্য কোডে যান


অডিও নিয়ে কাজ করার অতিরিক্ত বিকল্পের জন্য অন্যান্য নির্দেশিকা দেখুন।
কাঠামোগত আউটপুট তৈরি করুন একাধিক পালা চ্যাট দ্বিমুখী স্ট্রিমিং

শুরু করার আগে

এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট বিষয়বস্তু এবং কোড দেখতে আপনার জেমিনি এপিআই প্রদানকারীর উপর ক্লিক করুন।

যদি আপনি ইতিমধ্যে তা না করে থাকেন, তাহলে ‘ গেটিং স্টার্টেড গাইড’টি সম্পূর্ণ করুন, যেখানে আপনার Firebase প্রজেক্ট সেট আপ করা, আপনার অ্যাপকে Firebase-এর সাথে সংযুক্ত করা, SDK যোগ করা, আপনার নির্বাচিত Gemini API প্রোভাইডারের জন্য ব্যাকএন্ড সার্ভিস ইনিশিয়ালাইজ করা এবং একটি GenerativeModel ইনস্ট্যান্স তৈরি করার পদ্ধতি বর্ণনা করা হয়েছে।

আপনার প্রম্পটগুলো পরীক্ষা ও পরিমার্জন করার জন্য আমরা গুগল এআই স্টুডিও ব্যবহার করার পরামর্শ দিই।

অডিও ফাইল থেকে টেক্সট তৈরি করুন (বেস৬৪-এনকোডেড)

এই নমুনাটি চেষ্টা করার আগে, আপনার প্রজেক্ট ও অ্যাপ সেট আপ করার জন্য এই গাইডের ' শুরু করার আগে ' অংশটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনি আপনার নির্বাচিত জেমিনি এপিআই প্রোভাইডারের জন্য একটি বোতামেও ক্লিক করবেন, যাতে আপনি এই পৃষ্ঠায় প্রোভাইডার-নির্দিষ্ট বিষয়বস্তু দেখতে পান

আপনি ইনপুট ফাইলের mimeType এবং ফাইলটি প্রদান করে টেক্সট ও অডিওর মাধ্যমে একটি জেমিনি মডেলকে টেক্সট তৈরি করতে বলতে পারেন। এই পৃষ্ঠার পরবর্তী অংশে ইনপুট ফাইলের জন্য প্রয়োজনীয়তা ও সুপারিশসমূহ খুঁজে নিন।

সুইফট

আপনি টেক্সট এবং একটি একক অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে generateContent() কল করতে পারেন।


import FirebaseAILogic

// Initialize the Gemini Developer API backend service
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Create a `GenerativeModel` instance with a model that supports your use case
let model = ai.generativeModel(modelName: "gemini-3-flash-preview")


// Provide the audio as `Data`
guard let audioData = try? Data(contentsOf: audioURL) else {
    print("Error loading audio data.")
    return // Or handle the error appropriately
}

// Specify the appropriate audio MIME type
let audio = InlineDataPart(data: audioData, mimeType: "audio/mpeg")


// Provide a text prompt to include with the audio
let prompt = "Transcribe what's said in this audio recording."

// To generate text output, call `generateContent` with the audio and text prompt
let response = try await model.generateContent(audio, prompt)

// Print the generated text, handling the case where it might be nil
print(response.text ?? "No text in response.")

Kotlin

আপনি টেক্সট এবং একটি একক অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে generateContent() কল করতে পারেন।

কোটলিনের জন্য, এই SDK-এর মেথডগুলো হলো সাসপেন্ড ফাংশন এবং এগুলোকে একটি Coroutine স্কোপ থেকে কল করতে হবে।

// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
                        .generativeModel("gemini-3-flash-preview")


val contentResolver = applicationContext.contentResolver

val inputStream = contentResolver.openInputStream(audioUri)

if (inputStream != null) {  // Check if the audio loaded successfully
    inputStream.use { stream ->
        val bytes = stream.readBytes()

        // Provide a prompt that includes the audio specified above and text
        val prompt = content {
            inlineData(bytes, "audio/mpeg")  // Specify the appropriate audio MIME type
            text("Transcribe what's said in this audio recording.")
        }

        // To generate text output, call `generateContent` with the prompt
        val response = model.generateContent(prompt)

        // Log the generated text, handling the case where it might be null
        Log.d(TAG, response.text?: "")
    }
} else {
    Log.e(TAG, "Error getting input stream for audio.")
    // Handle the error appropriately
}

Java

আপনি টেক্সট এবং একটি একক অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে generateContent() কল করতে পারেন।

জাভার ক্ষেত্রে, এই SDK-এর মেথডগুলো একটি ListenableFuture রিটার্ন করে।

// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
        .generativeModel("gemini-3-flash-preview");

// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);


ContentResolver resolver = getApplicationContext().getContentResolver();

try (InputStream stream = resolver.openInputStream(audioUri)) {
    File audioFile = new File(new URI(audioUri.toString()));
    int audioSize = (int) audioFile.length();
    byte audioBytes = new byte[audioSize];
    if (stream != null) {
        stream.read(audioBytes, 0, audioBytes.length);
        stream.close();

        // Provide a prompt that includes the audio specified above and text
        Content prompt = new Content.Builder()
              .addInlineData(audioBytes, "audio/mpeg")  // Specify the appropriate audio MIME type
              .addText("Transcribe what's said in this audio recording.")
              .build();

        // To generate text output, call `generateContent` with the prompt
        ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
        Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
            @Override
            public void onSuccess(GenerateContentResponse result) {
                String text = result.getText();
                Log.d(TAG, (text == null) ? "" : text);
            }
            @Override
            public void onFailure(Throwable t) {
                Log.e(TAG, "Failed to generate a response", t);
            }
        }, executor);
    } else {
        Log.e(TAG, "Error getting input stream for file.");
        // Handle the error appropriately
    }
} catch (IOException e) {
    Log.e(TAG, "Failed to read the audio file", e);
} catch (URISyntaxException e) {
    Log.e(TAG, "Invalid audio file", e);
}

Web

আপনি টেক্সট এবং একটি একক অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে generateContent() কল করতে পারেন।


import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `GenerativeModel` instance with a model that supports your use case
const model = getGenerativeModel(ai, { model: "gemini-3-flash-preview" });


// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
  const base64EncodedDataPromise = new Promise((resolve) => {
    const reader = new FileReader();
    reader.onloadend = () => resolve(reader.result.split(','));
    reader.readAsDataURL(file);
  });
  return {
    inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
  };
}

async function run() {
  // Provide a text prompt to include with the audio
  const prompt = "Transcribe what's said in this audio recording.";

  // Prepare audio for input
  const fileInputEl = document.querySelector("input[type=file]");
  const audioPart = await fileToGenerativePart(fileInputEl.files);

  // To generate text output, call `generateContent` with the text and audio
  const result = await model.generateContent([prompt, audioPart]);

  // Log the generated text, handling the case where it might be undefined
  console.log(result.response.text() ?? "No text in response.");
}

run();

Dart

আপনি টেক্সট এবং একটি একক অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে generateContent() কল করতে পারেন।


import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
final model =
      FirebaseAI.googleAI().generativeModel(model: 'gemini-3-flash-preview');


// Provide a text prompt to include with the audio
final prompt = TextPart("Transcribe what's said in this audio recording.");

// Prepare audio for input
final audio = await File('audio0.mp3').readAsBytes();

// Provide the audio as `Data` with the appropriate audio MIME type
final audioPart = InlineDataPart('audio/mpeg', audio);

// To generate text output, call `generateContent` with the text and audio
final response = await model.generateContent([
  Content.multi([prompt,audioPart])
]);

// Print the generated text
print(response.text);

ঐক্য

টেক্সট এবং একটিমাত্র অডিও ফাইলের মাল্টিমোডাল ইনপুট থেকে টেক্সট তৈরি করতে আপনি GenerateContentAsync() কল করতে পারেন।


using Firebase;
using Firebase.AI;

// Initialize the Gemini Developer API backend service
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());

// Create a `GenerativeModel` instance with a model that supports your use case
var model = ai.GetGenerativeModel(modelName: "gemini-3-flash-preview");


// Provide a text prompt to include with the audio
var prompt = ModelContent.Text("Transcribe what's said in this audio recording.");

// Provide the audio as `data` with the appropriate audio MIME type
var audio = ModelContent.InlineData("audio/mpeg",
      System.IO.File.ReadAllBytes(System.IO.Path.Combine(
        UnityEngine.Application.streamingAssetsPath, "audio0.mp3")));

// To generate text output, call `GenerateContentAsync` with the text and audio
var response = await model.GenerateContentAsync(new [] { prompt, audio });

// Print the generated text
UnityEngine.Debug.Log(response.Text ?? "No text in response.");

কীভাবে একটি মডেল বেছে নিতে হয় তা জানুনআপনার ব্যবহারের ক্ষেত্র এবং অ্যাপের জন্য উপযুক্ত।

প্রতিক্রিয়াটি স্ট্রিম করুন

এই নমুনাটি চেষ্টা করার আগে, আপনার প্রজেক্ট ও অ্যাপ সেট আপ করার জন্য এই গাইডের ' শুরু করার আগে ' অংশটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনি আপনার নির্বাচিত জেমিনি এপিআই প্রোভাইডারের জন্য একটি বোতামেও ক্লিক করবেন, যাতে আপনি এই পৃষ্ঠায় প্রোভাইডার-নির্দিষ্ট বিষয়বস্তু দেখতে পান

মডেল জেনারেশনের সম্পূর্ণ ফলাফলের জন্য অপেক্ষা না করে, তার পরিবর্তে আংশিক ফলাফল হ্যান্ডেল করার জন্য স্ট্রিমিং ব্যবহার করে আপনি আরও দ্রুত ইন্টারঅ্যাকশন অর্জন করতে পারেন। রেসপন্সটি স্ট্রিম করতে, generateContentStream কল করুন।



ইনপুট অডিও ফাইলের জন্য প্রয়োজনীয়তা এবং সুপারিশসমূহ

মনে রাখবেন যে, ইনলাইন ডেটা হিসেবে দেওয়া কোনো ফাইল স্থানান্তরের সময় বেস৬৪-এ এনকোড করা হয়, যা রিকোয়েস্টের আকার বাড়িয়ে দেয়। রিকোয়েস্টটি অতিরিক্ত বড় হলে আপনি একটি HTTP 413 এরর পাবেন।

নিম্নলিখিত বিষয়গুলো সম্পর্কে বিস্তারিত তথ্য জানতে 'সমর্থিত ইনপুট ফাইল এবং প্রয়োজনীয়তা' পৃষ্ঠাটি দেখুন:

সমর্থিত অডিও MIME প্রকার

জেমিনি মাল্টিমোডাল মডেলগুলো নিম্নলিখিত অডিও MIME টাইপগুলো সমর্থন করে:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • এমপিএ - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • পিসিএম - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

অনুরোধ প্রতি সীমা

প্রতি অনুরোধে সর্বোচ্চ ফাইলের সংখ্যা: ১টি অডিও ফাইল



তুমি আর কী করতে পারো?

  • মডেলে দীর্ঘ প্রম্পট পাঠানোর আগে টোকেন গণনা করার পদ্ধতি শিখে নিন।
  • Cloud Storage for Firebase সেট আপ করুন , যাতে আপনি আপনার মাল্টিমোডাল অনুরোধগুলিতে বড় ফাইল অন্তর্ভুক্ত করতে পারেন এবং প্রম্পটে ফাইল সরবরাহ করার জন্য একটি আরও সুসংগঠিত সমাধান পেতে পারেন। ফাইলগুলির মধ্যে ছবি, পিডিএফ, ভিডিও এবং অডিও অন্তর্ভুক্ত থাকতে পারে।
  • উৎপাদনের প্রস্তুতি নিয়ে ভাবতে শুরু করুন ( উৎপাদন চেকলিস্টটি দেখুন):
    • অননুমোদিত ক্লায়েন্টদের অপব্যবহার থেকে জেমিনি এপিআই-কে সুরক্ষিত রাখতে যত তাড়াতাড়ি সম্ভব Firebase App Check সেট আপ করুন
    • নতুন অ্যাপ সংস্করণ প্রকাশ না করেই আপনার অ্যাপের মান (যেমন মডেলের নাম) আপডেট করতে Firebase Remote Config সংযুক্ত করুন

অন্যান্য ক্ষমতাগুলো পরীক্ষা করে দেখুন

কন্টেন্ট তৈরি নিয়ন্ত্রণ করার উপায় জানুন

এছাড়াও আপনি গুগল এআই স্টুডিও ব্যবহার করে প্রম্পট ও মডেল কনফিগারেশন নিয়ে পরীক্ষা-নিরীক্ষা করতে পারেন এবং এমনকি একটি জেনারেটেড কোড স্নিপেটও পেতে পারেন।

সমর্থিত মডেলগুলো সম্পর্কে আরও জানুন

বিভিন্ন ব্যবহারের জন্য উপলব্ধ মডেল এবং সেগুলোর কোটামূল্য সম্পর্কে জানুন।


Firebase AI Logic ব্যবহারের অভিজ্ঞতা সম্পর্কে মতামত দিন।