मॉडल को भेजे जाने वाले हर कॉल में पैरामीटर वैल्यू शामिल होती हैं. ये वैल्यू कंट्रोल करती हैं कि मॉडल, रिस्पॉन्स कैसे जनरेट करता है. यह मॉडल, अलग-अलग पैरामीटर वैल्यू के लिए अलग-अलग नतीजे जनरेट कर सकता है. टास्क के लिए सबसे सही वैल्यू पाने के लिए, अलग-अलग पैरामीटर वैल्यू के साथ एक्सपेरिमेंट करें. अलग-अलग मॉडल के लिए उपलब्ध पैरामीटर अलग-अलग हो सकते हैं.
कॉन्फ़िगरेशन को, शुरू की गई Vertex AI सेवा और मॉडल इंस्टेंस के लाइफ़टाइम तक मैनेज किया जाता है. मॉडल कॉन्फ़िगरेशन को अपडेट करने के लिए, मॉडल इंस्टेंस को फिर से शुरू करना होगा.
इस पेज पर आगे बताया गया है कि मॉडल पैरामीटर को कॉन्फ़िगर करने का तरीका क्या है.
हर पैरामीटर की जानकारी
सबसे सामान्य पैरामीटर ये हैं:
इस पेज के नीचे दिए गए सेक्शन में, इनमें से हर पैरामीटर के बारे में जानें.
ज़्यादा से ज़्यादा आउटपुट टोकन
रिस्पॉन्स में जनरेट किए जा सकने वाले टोकन की ज़्यादा से ज़्यादा संख्या. एक टोकन में करीब चार वर्ण होते हैं. करीब 20 शब्दों के 100 टोकन.
छोटे जवाबों के लिए कम वैल्यू और लंबे रिस्पॉन्स के लिए ज़्यादा वैल्यू डालें.
तापमान
तापमान का इस्तेमाल, रिस्पॉन्स जनरेट करने के दौरान सैंपलिंग के लिए किया जाता है. ऐसा तब होता है, जब topP और topK लागू होते हैं. तापमान, टोकन चुनने में रैंडमनेस की डिग्री को कंट्रोल करता है. कम तापमान ऐसे संकेतों के लिए अच्छा होता है
जिनके लिए ज़्यादा सारणिक और कम विस्तार से लिखने वाली या
क्रिएटिव प्रतिक्रिया की ज़रूरत होती है. वहीं, ज़्यादा तापमान से ज़्यादा अलग-अलग या
क्रिएटिव नतीजे मिल सकते हैं. 0 तापमान डिटर्मिनिस्टिक होता है. इसका मतलब है कि
सबसे ज़्यादा प्रॉबबिलिटी रिस्पॉन्स को हमेशा चुना जाता है.
ज़्यादातर मामलों में, तापमान को 0.2 से शुरू करके देखें. अगर
मॉडल से ऐसा रिस्पॉन्स मिलता है जो बहुत सामान्य है, बहुत छोटा है या मॉडल से फ़ॉलबैक रिस्पॉन्स देता है, तो तापमान बढ़ाकर देखें.
टॉप-के
Top-K, मॉडल के आउटपुट के लिए टोकन चुनने के तरीके को बदलता है. 1 के टॉप-K का मतलब है कि मॉडल के शब्दावली में मौजूद सभी टोकन में से, अगला चुना गया टोकन सबसे ज़्यादा संभावित है (इसे ग्रीडी डिकोडिंग भी कहा जाता है). वहीं, 3 के टॉप-K का मतलब है कि तापमान का इस्तेमाल करके, तीन सबसे संभावित टोकन में से अगला टोकन चुना गया है.
टोकन चुनने के हर चरण के लिए, सबसे ज़्यादा संभावना वाले टॉप-K टोकन का सैंपल लिया जाता है. इसके बाद, टॉप-पी के हिसाब से टोकन को और फ़िल्टर किया जाता है. इसमें तापमान के सैंपल का इस्तेमाल करके, आखिरी टोकन चुना जाता है.
कम बेतरतीब जवाबों के लिए कम मान और ज़्यादा अनियमित जवाबों के लिए ज़्यादा मान तय करें. डिफ़ॉल्ट टॉप-K 40 है.
टॉप-पी
टॉप-P, आउटपुट के लिए टोकन चुनने के तरीके को बदलता है. टोकन, सबसे ज़्यादा (टॉप-K देखें) से लेकर सबसे कम अनुमानित तक चुने जाते हैं. ऐसा तब तक किया जाता है, जब तक कि उनकी प्रॉबबिलिटी का योग, टॉप-P वैल्यू के बराबर न हो जाए. उदाहरण के लिए, अगर टोकन A, B, और C के होने की संभावना 0.3, 0.2, और 0.1 है और टॉप-P वैल्यू 0.5 है, तो मॉडल तापमान का इस्तेमाल करके A या B को अगले टोकन के तौर पर चुनेगा और C को कैंडिडेट के तौर पर शामिल नहीं करेगा.
कम बेतरतीब जवाबों के लिए कम मान और ज़्यादा अनियमित जवाबों के लिए ज़्यादा मान तय करें. डिफ़ॉल्ट टॉप-P 0.95 है.