ওয়েব অ্যাপে হাইব্রিড অভিজ্ঞতার জন্য কনফিগারেশন বিকল্পগুলি

এই পৃষ্ঠায় নিম্নলিখিত কনফিগারেশন বিকল্পগুলি বর্ণনা করা হয়েছে:

• একটি ইনফারেন্স মোড সেট করুন

• ডিফল্ট ক্লাউড-হোস্টেড ফলব্যাক মডেলকে ওভাররাইড করুন

• তাপমাত্রার মতো প্রতিক্রিয়াগুলো নিয়ন্ত্রণ করতে মডেল কনফিগারেশন ব্যবহার করুন।

আপনি JSON এবং enum সহ কাঠামোগত আউটপুটও তৈরি করতে পারেন।

শুরু করার আগে

হাইব্রিড অভিজ্ঞতা তৈরির জন্য প্রারম্ভিক নির্দেশিকাটি আপনি সম্পূর্ণ করেছেন কিনা, তা নিশ্চিত করুন।

একটি ইনফারেন্স মোড সেট করুন

শুরু করার নির্দেশিকার উদাহরণগুলিতে PREFER_ON_DEVICE মোড ব্যবহার করা হয়েছে, কিন্তু এটি উপলব্ধ চারটি ইনফারেন্স মোডের মধ্যে মাত্র একটি।

• PREFER_ON_DEVICE : ডিভাইসে-ভিত্তিক মডেলটি উপলব্ধ থাকলে সেটি ব্যবহার করুন; অন্যথায়, ক্লাউড-হোস্টেড মডেলে ফিরে যান ।

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ONLY_ON_DEVICE : ডিভাইসে থাকা মডেলটি উপলব্ধ থাকলে সেটি ব্যবহার করুন; অন্যথায়, একটি ব্যতিক্রম (exception) দেখান ।

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• PREFER_IN_CLOUD : ক্লাউড-হোস্টেড মডেলটি উপলব্ধ থাকলে সেটি ব্যবহার করুন; অন্যথায়, অন-ডিভাইস মডেলে ফিরে যান ।

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ONLY_IN_CLOUD : ক্লাউড-হোস্টেড মডেলটি উপলব্ধ থাকলে সেটি ব্যবহার করুন; অন্যথায়, একটি এক্সেপশন থ্রো করুন ।

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

অন-ডিভাইস নাকি ইন-ক্লাউড ইনফারেন্স ব্যবহার করা হয়েছিল তা নির্ধারণ করুন।

আপনি যদি PREFER_ON_DEVICE বা PREFER_IN_CLOUD ইনফারেন্স মোড ব্যবহার করেন, তাহলে নির্দিষ্ট অনুরোধগুলোর জন্য কোন মোড ব্যবহার করা হয়েছিল তা জানা সহায়ক হতে পারে। এই তথ্যটি প্রতিটি রেসপন্সের inferenceSource প্রপার্টির মাধ্যমে প্রদান করা হয় (যা JS SDK v12.5.0 থেকে উপলব্ধ)।

আপনি যখন এই প্রপার্টিটি অ্যাক্সেস করবেন, তখন ফেরত আসা মানটি হয় ON_DEVICE অথবা IN_CLOUD ।

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

ডিফল্ট ক্লাউড-হোস্টেড মডেলটি হলো gemini-2.5-flash-lite (JS SDK v12.8.0 থেকে শুরু)।

আপনি যখন PREFER_ON_DEVICE মোড ব্যবহার করেন, তখন এই মডেলটি ফলব্যাক ক্লাউড-হোস্টেড মডেল হিসেবে কাজ করে। এছাড়াও, আপনি যখন ONLY_IN_CLOUD মোড বা PREFER_IN_CLOUD মোড ব্যবহার করেন, তখনও এটি ডিফল্ট মডেল হিসেবে থাকে।

আপনি একটি বিকল্প ডিফল্ট ক্লাউড-হোস্টেড মডেল নির্দিষ্ট করতে inCloudParams কনফিগারেশন অপশনটি ব্যবহার করতে পারেন।

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});