वेब ऐप्लिकेशन में हाइब्रिड अनुभवों के लिए कॉन्फ़िगरेशन के विकल्प

इस पेज पर, कॉन्फ़िगरेशन के इन विकल्पों के बारे में बताया गया है:

इसके अलावा, JSON और enum के साथ स्ट्रक्चर्ड आउटपुट भी जनरेट किया जा सकता है.

शुरू करने से पहले

पक्का करें कि आपने हाइब्रिड अनुभव बनाने के लिए, शुरू करने से जुड़ी गाइड में दिए गए सभी निर्देश पूरे कर लिए हों.

अनुमान वाला मोड सेट करना

शुरू करने से जुड़ी गाइड में दिए गए उदाहरणों में, PREFER_ON_DEVICE मोड का इस्तेमाल किया गया है. हालांकि, यह अनुमान वाले चार उपलब्ध मोड में से सिर्फ़ एक है.

  • PREFER_ON_DEVICE: अगर ऑन-डिवाइस मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो क्लाउड पर होस्ट किए गए मॉडल पर वापस जाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: अगर ऑन-डिवाइस मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो ऑन-डिवाइस मॉडल पर वापस जाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: अगर क्लाउड पर होस्ट किया गया मॉडल उपलब्ध है, तो उसका इस्तेमाल करें. अगर ऐसा नहीं है, तो अपवाद दिखाएं.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

यह पता लगाना कि ऑन-डिवाइस या इन-क्लाउड अनुमान का इस्तेमाल किया गया है

अगर PREFER_ON_DEVICE या PREFER_IN_CLOUD अनुमान वाले मोड का इस्तेमाल किया जाता है, तो यह जानना मददगार हो सकता है कि दिए गए अनुरोधों के लिए किस मोड का इस्तेमाल किया गया है. यह जानकारी, हर जवाब की inferenceSource प्रॉपर्टी से मिलती है. यह सुविधा, JS SDK के v12.5.0 और उसके बाद के वर्शन में उपलब्ध है.

इस प्रॉपर्टी को ऐक्सेस करने पर, दिखाई गई वैल्यू ON_DEVICE या IN_CLOUD होगी.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

डिफ़ॉल्ट फ़ॉलबैक मॉडल को बदलना

क्लाउड पर होस्ट किया गया डिफ़ॉल्ट मॉडल gemini-2.5-flash-lite है (यह सुविधा, JS SDK के v12.8.0 और उसके बाद के वर्शन में उपलब्ध है).

जब PREFER_ON_DEVICE मोड का इस्तेमाल किया जाता है, तो यह मॉडल, क्लाउड पर होस्ट किया गया फ़ॉलबैक मॉडल होता है. जब ONLY_IN_CLOUD मोड या PREFER_IN_CLOUD मोड का इस्तेमाल किया जाता है, तब भी यह डिफ़ॉल्ट मॉडल होता है.

क्लाउड पर होस्ट किए गए किसी दूसरे मॉडल को डिफ़ॉल्ट तौर पर सेट करने के लिए, inCloudParams कॉन्फ़िगरेशन विकल्प का इस्तेमाल किया जा सकता है.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Gemini के सभी काम करने वाले मॉडल के नाम देखें.

जवाबों को कंट्रोल करने के लिए, मॉडल कॉन्फ़िगरेशन का इस्तेमाल करना

किसी मॉडल को भेजे गए हर अनुरोध में, मॉडल कॉन्फ़िगरेशन शामिल किया जा सकता है. इससे यह कंट्रोल किया जा सकता है कि मॉडल, जवाब कैसे जनरेट करेगा. क्लाउड पर होस्ट किए गए मॉडल और ऑन-डिवाइस मॉडल के लिए, कॉन्फ़िगरेशन के अलग-अलग विकल्प उपलब्ध होते हैं.

कॉन्फ़िगरेशन, इंस्टेंस के लाइफ़टाइम तक बना रहता है. अगर आपको कोई दूसरा कॉन्फ़िगरेशन इस्तेमाल करना है, तो उस कॉन्फ़िगरेशन के साथ GenerativeModel का नया इंस्टेंस बनाएं.

क्लाउड पर होस्ट किए गए मॉडल को कॉन्फ़िगर करना

क्लाउड पर होस्ट किए गए Gemini मॉडल को कॉन्फ़िगर करने के लिए, inCloudParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

ऑन-डिवाइस मॉडल को कॉन्फ़िगर करना

ध्यान दें कि ऑन-डिवाइस मॉडल का इस्तेमाल करके अनुमान लगाने के लिए, Chrome के Prompt API का इस्तेमाल किया जाता है.

ऑन-डिवाइस मॉडल को कॉन्फ़िगर करने के लिए, onDeviceParams विकल्प का इस्तेमाल करें. उपलब्ध पैरामीटर के बारे में जानें .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});