वेब ऐप्लिकेशन में हाइब्रिड अनुभवों के लिए कॉन्फ़िगरेशन के विकल्प

इस पेज पर, कॉन्फ़िगरेशन के इन विकल्पों के बारे में बताया गया है:

इसके अलावा, स्ट्रक्चर्ड आउटपुट भी जनरेट किया जा सकता है, इसमें JSON और enum शामिल हैं.

शुरू करने से पहले

पक्का करें कि आपने हाइब्रिड अनुभव बनाने के लिए, शुरू करने से जुड़ी गाइड में दिए गए सभी निर्देश पूरे कर लिए हों.

इन्फ़रेंस मोड सेट करना

शुरू करने से जुड़ी गाइड में दिए गए उदाहरणों में, PREFER_ON_DEVICE मोड का इस्तेमाल किया गया है. हालांकि, यह उपलब्ध चार अनुमान मोड में से सिर्फ़ एक है.

  • PREFER_ON_DEVICE: अगर उपयोगकर्ता के डिवाइस पर मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो क्लाउड पर होस्ट किए गए मॉडल पर वापस जाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: अगर उपयोगकर्ता के डिवाइस पर मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो उपयोगकर्ता के डिवाइस पर मौजूद मॉडल पर वापस जाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

यह तय करना कि ऑन-डिवाइस या इन-क्लाउड इन्फ़रेंस का इस्तेमाल किया गया है

अगर PREFER_ON_DEVICE या PREFER_IN_CLOUD इन्फ़रेंस मोड का इस्तेमाल किया जाता है, तो यह जानना मददगार हो सकता है कि दिए गए अनुरोधों के लिए किस मोड का इस्तेमाल किया गया है. यह जानकारी, हर जवाब की inferenceSource प्रॉपर्टी से मिलती है. यह JS SDK v12.5.0 से उपलब्ध है.

इस प्रॉपर्टी को ऐक्सेस करने पर, दिखाई गई वैल्यू ON_DEVICE या IN_CLOUD होगी.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

डिफ़ॉल्ट फ़ॉलबैक मॉडल को बदलना

क्लाउड पर होस्ट किया गया डिफ़ॉल्ट मॉडल gemini-2.5-flash-lite (JS SDK v12.8.0 से).

जब PREFER_ON_DEVICE मोड का इस्तेमाल किया जाता है, तो यह मॉडल, क्लाउड पर होस्ट किया गया फ़ॉलबैक मॉडल होता है. जब ONLY_IN_CLOUD मोड या PREFER_IN_CLOUD मोड का इस्तेमाल किया जाता है, तब भी यह डिफ़ॉल्ट मॉडल होता है.

क्लाउड पर होस्ट किए गए किसी दूसरे मॉडल को डिफ़ॉल्ट तौर पर सेट करने के लिए, inCloudParams कॉन्फ़िगरेशन विकल्प का इस्तेमाल किया जा सकता है.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Gemini के सभी काम करने वाले मॉडल के नाम देखें.

जवाबों को कंट्रोल करने के लिए, मॉडल कॉन्फ़िगरेशन का इस्तेमाल करना

किसी मॉडल को भेजे गए हर अनुरोध में, मॉडल कॉन्फ़िगरेशन शामिल किया जा सकता है. इससे यह कंट्रोल किया जा सकता है कि मॉडल, जवाब कैसे जनरेट करेगा. क्लाउड पर होस्ट किए गए मॉडल और उपयोगकर्ता के डिवाइस पर मॉडल के लिए, कॉन्फ़िगरेशन के अलग-अलग विकल्प उपलब्ध होते हैं.

कॉन्फ़िगरेशन, इंस्टेंस के लाइफ़टाइम के लिए सेव रहता है. अगर किसी दूसरे कॉन्फ़िगरेशन का इस्तेमाल करना है, तो उस कॉन्फ़िगरेशन के साथ GenerativeModel का नया इंस्टेंस बनाएं.

क्लाउड पर होस्ट किए गए मॉडल को कॉन्फ़िगर करना

क्लाउड पर होस्ट किए गए Gemini मॉडल को कॉन्फ़िगर करने के लिए, inCloudParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

उपयोगकर्ता के डिवाइस पर मॉडल को कॉन्फ़िगर करना

ध्यान दें कि ऑन-डिवाइस मॉडल का इस्तेमाल करके इन्फ़रेंस के लिए, Chrome से Prompt API का इस्तेमाल किया जाता है.

उपयोगकर्ता के डिवाइस पर मॉडल को कॉन्फ़िगर करने के लिए, onDeviceParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});