Ogni chiamata inviata a un modello include valori parametro che controllano il modo in cui il modello genera una risposta. Il modello può generare risultati diversi a seconda dei valori parametro. Prova diversi valori parametro per ottenere i valori migliori per l'attività. I parametri disponibili per i diversi modelli possono variare.
La configurazione viene mantenuta per tutta la durata dell'istanza del modello e del servizio Vertex AI inizializzati. Per aggiornare la configurazione del modello, l'istanza del modello deve essere reinizializzata.
Più avanti in questa pagina, scoprirai come configurare i parametri del modello.
Descrizione di ogni parametro
I parametri più comuni sono i seguenti:
Scopri di più su ciascuno di questi parametri nelle seguenti sezioni di questa pagina.
Numero massimo di token di output
Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.
Specifica un valore più basso per risposte più brevi e un valore più alto per risposte più lunghe.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione delle risposte, che si verifica quando vengono applicati topP e topK. La temperatura controlla
il grado di casualità nella selezione dei token. Le temperature più basse sono ideali per prompt che richiedono una risposta più deterministica e meno aperta o creativa, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0 è deterministica, il che significa che viene sempre selezionata la risposta con la probabilità più alta.
Per la maggior parte dei casi d'uso, prova a iniziare con una temperatura di 0.2. Se
il modello restituisce una risposta troppo generica, troppo breve o fornisce una
risposta di riserva, prova ad aumentare la temperatura.
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a 1 indica che il token successivo selezionato è il più probabile tra tutti i token nel vocabolario del modello (detta anche decodifica greedy), mentre un top-K pari a 3 indica che il token successivo viene selezionato tra i tre token più probabili utilizzando la temperatura.
Per ogni fase di selezione dei token, vengono campionati i token top-K con le probabilità più elevate. Quindi, i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali. Il valore predefinito di top-K è 40.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile (vedi top-K) al meno probabile finché la somma delle loro probabilità equivale al valore top-P. Ad esempio, se i token A, B e C hanno una probabilità di
0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello selezionerà
A o B come token successivo utilizzando la temperatura ed esclude C come
candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali. Il valore predefinito di top-P è 0.95.