वेब ऐप्लिकेशन में हाइब्रिड अनुभवों के लिए कॉन्फ़िगरेशन के विकल्प


इस पेज पर, कॉन्फ़िगरेशन के इन विकल्पों के बारे में बताया गया है:

इसके अलावा, JSON और enum सहित स्ट्रक्चर्ड आउटपुट जनरेट किया जा सकता है.

शुरू करने से पहले

पक्का करें कि आपने हाइब्रिड अनुभव बनाने के लिए, शुरू करने से जुड़ी गाइड को पूरा कर लिया हो.

अनुमान लगाने का मोड सेट करना

शुरू करने से जुड़ी गाइड में दिए गए उदाहरणों में, PREFER_ON_DEVICE मोड का इस्तेमाल किया गया है. हालांकि, यह उपलब्ध चार अनुमान लगाने वाले मोड में से सिर्फ़ एक है.

  • PREFER_ON_DEVICE: अगर डिवाइस पर मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल करें.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: अगर डिवाइस पर मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो डिवाइस पर मौजूद मॉडल का इस्तेमाल करें.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

यह पता लगाना कि डिवाइस पर या क्लाउड में मौजूद डेटा का इस्तेमाल किया गया था

अगर आपने PREFER_ON_DEVICE या PREFER_IN_CLOUD इन्फ़रेंस मोड का इस्तेमाल किया है, तो यह जानना मददगार हो सकता है कि दिए गए अनुरोधों के लिए किस मोड का इस्तेमाल किया गया था. यह जानकारी, हर रिस्पॉन्स की inferenceSource प्रॉपर्टी से मिलती है. यह JS SDK v12.5.0 और उसके बाद के वर्शन में उपलब्ध है.

इस प्रॉपर्टी को ऐक्सेस करने पर, दिखाई गई वैल्यू ON_DEVICE या IN_CLOUD होगी.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

डिफ़ॉल्ट फ़ॉलबैक मॉडल को बदलना

क्लाउड पर होस्ट किया गया डिफ़ॉल्ट मॉडल, gemini-2.5-flash-lite है (JS SDK v12.8.0 से शुरू होता है).

PREFER_ON_DEVICE मोड का इस्तेमाल करने पर, यह मॉडल फ़ॉलबैक क्लाउड-होस्ट किया गया मॉडल होता है. ONLY_IN_CLOUD मोड या PREFER_IN_CLOUD मोड का इस्तेमाल करने पर, यह डिफ़ॉल्ट मॉडल भी होता है.

डिफ़ॉल्ट रूप से क्लाउड पर होस्ट किए गए किसी दूसरे मॉडल को सेट करने के लिए, inCloudParams कॉन्फ़िगरेशन विकल्प का इस्तेमाल किया जा सकता है.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Gemini के साथ काम करने वाले सभी मॉडल के नाम ढूंढें.

जवाबों को कंट्रोल करने के लिए, मॉडल कॉन्फ़िगरेशन का इस्तेमाल करना

मॉडल को किए गए हर अनुरोध में, मॉडल कॉन्फ़िगरेशन भेजा जा सकता है. इससे यह कंट्रोल किया जा सकता है कि मॉडल जवाब कैसे जनरेट करे. क्लाउड पर होस्ट किए गए मॉडल और डिवाइस पर मौजूद मॉडल में, कॉन्फ़िगरेशन के अलग-अलग विकल्प मिलते हैं.

कॉन्फ़िगरेशन को इंस्टेंस के लाइफ़टाइम के लिए बनाए रखा जाता है. अगर आपको किसी दूसरे कॉन्फ़िगरेशन का इस्तेमाल करना है, तो उस कॉन्फ़िगरेशन के साथ एक नया GenerativeModel इंस्टेंस बनाएं.

क्लाउड पर होस्ट किए गए मॉडल को कॉन्फ़िगर करना

क्लाउड पर होस्ट किए गए Gemini मॉडल को कॉन्फ़िगर करने के लिए, inCloudParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

डिवाइस पर मौजूद मॉडल को कॉन्फ़िगर करना

ध्यान दें कि डिवाइस पर मौजूद मॉडल का इस्तेमाल करके अनुमान लगाने के लिए, Chrome के Prompt API का इस्तेमाल किया जाता है.

डिवाइस पर मौजूद मॉडल को कॉन्फ़िगर करने के लिए, onDeviceParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});