您傳送至模型的每個呼叫都含有參數值，用來控制模型生成回應的方式，模型可能會針對不同的參數值產生不同的結果。嘗試不同參數值，取得最適合該工作的值。不同模型可用的參數可能不同。
系統會在初始化 Vertex AI 服務和模型執行個體的生命週期內保留這項設定。如要更新模型設定，必須重新初始化模型執行個體。
本頁稍後將說明如何設定模型參數。
每個參數的說明
最常見的參數如下：
如要瞭解每個參數，請參閱本頁後續章節。
輸出符記數量上限
可在回應中產生的權杖數量上限。一個詞元約為四個字元。100 個符記可對應至大約 20 個字詞。
如要取得較短的回覆，請指定較低的值；如要取得較長的回應，請調高此值。
Temperature
隨機性參數在產生回應時取樣，也就是在套用 topP 和 topK 時進行取樣。隨機性參數會決定選取符記的隨機程度。較低的隨機性參數適合需要更具確定性且較不具開放性和創意性的提示訊息，而較低的隨機性參數則可能產生較多元或有創意的結果。0 溫度具有確定性，亦即模型一律會選取可能性最高的回應。
以大部分用途來說，可以先將隨機性參數設為 0.2，如果模型傳回的回應太普通、太短或提供備用回應，請嘗試調高隨機性參數。
Top-K
「Top-K」會影響模型選取輸出符記的方式。如果「前 K 個」設為「1」，代表下一個所選符記是模型詞彙表的所有符記中可能性最高者 (也稱為「貪婪解碼」)。如果「Top-K」設為 3，則代表模型會依據隨機性參數，從可能最可能的三個符記中選取下一個符記。
在每個符記選取步驟中，模型會對機率最高的「前 K 個」符記取樣，接著進一步根據「Top-P」篩選符記，最後透過隨機性參數選取最終符記。
如要取得較不隨機的回應，請指定較低的值；如要取得較隨機的回應，請調高此值。「前 K 個」的預設值為 40。
Top-P
「Top-P」會影響模型選取輸出符記的方式。模型會按照可能性最高 (請見「Top-K」) 到最低的順序選取符記，直到所選符記的可能性總和等於「可能性總和為 P」值。舉例來說，假設符記 A、B 和 C 的可能性分別為 0.3、0.2 和 0.1，而「Top-P」值為 0.5，則模型會依據隨機性參數選擇 A 或 B 做為下一個符記，並排除 C。
如要取得較不隨機的回應，請指定較低的值；如要取得較隨機的回應，請調高此值。「可能性總和為 P」的預設值為 0.95。