Każde wywołanie wysłane do modelu zawiera wartości parametrów, które określają, model wygeneruje odpowiedź. Model może generować różne wyniki dla: różne wartości parametrów. Eksperymentuj z różnymi wartościami parametrów, aby uzyskać najlepsze wartości dla danego zadania. Parametry dostępne dla różnych modeli mogą różnią się od siebie.
Konfiguracja jest przechowywana przez cały okres Instancja modelu i usługi Vertex AI Aby zaktualizować konfigurację modelu, musisz ponownie zainicjować instancję modelu.
Później na tej stronie dowiesz się, jak skonfigurować parametry modelu.
Opis każdego parametru
Najczęściej używane parametry to:
Więcej informacji o każdym z tych parametrów znajdziesz w kolejnych sekcjach tej strony.
Maksymalna liczba tokenów wyjściowych
Maksymalna liczba tokenów, które można wygenerować w odpowiedzi. Token jest: powinien składać się z około 4 znaków. 100 tokenów odpowiada około 20 słowom.
Jeśli chcesz uzyskiwać krótsze odpowiedzi, podaj niższą wartość, a jeśli dłuższe – wyższą. odpowiedzi.
Temperatura
Temperatura jest używana do próbkowania podczas generowania odpowiedzi, a
po zastosowaniu reguł topP i topK. Sterowanie temperaturą
stopień losowości wyboru tokenów. Niższe temperatury są dobre dla
które wymagają bardziej deterministycznej i mniej otwartej czy kreatywnej odpowiedzi
a wyższe temperatury powodują zróżnicowanie i kreatywność
wyników. Temperatura 0 jest deterministyczna, co oznacza, że
zawsze wybierana jest odpowiedź o najwyższym prawdopodobieństwie.
W większości przypadków dobrze jest zacząć od temperatury 0.2. Jeśli
model zwróci zbyt ogólną lub krótką odpowiedź,
odpowiedź zastępczą, spróbuj zwiększyć temperaturę.
Top-K
Parametr Top-K zmienia sposób, w jaki model wybiera tokeny w celu wygenerowania odpowiedzi. Górne K
1 oznacza, że następny wybrany token jest najbardziej prawdopodobny
tokeny w słowniku modelu (nazywane też dekodowaniem zachłannym), podczas gdy górne K o wartości
3 oznacza, że następny token jest wybierany spośród 3 najbardziej
prawdopodobnych tokenów.
Na każdym etapie wyboru tokena z najwyższych pozycji prawdopodobieństwa są próbkowane. Tokeny są następnie filtrowane na podstawie górnego P z końcowy token wybrany za pomocą próbkowania z użyciem temperatury.
Jeśli chcesz uzyskiwać mniej losowe odpowiedzi, podaj niższą wartość, a jeśli mniej, to wyższą.
losowe odpowiedzi. Wartość domyślna parametru górnego K to 40.
Top-P
Parametr Top-P również zmienia sposób, w jaki model wybiera tokeny w celu wygenerowania odpowiedzi. Wybrano tokeny
od najbardziej (patrz górne K) do najmniej prawdopodobnych aż do sumy ich prawdopodobieństw
równa się wartości górnego P. Jeśli na przykład tokeny A, B i C mają prawdopodobieństwo
0,3, 0,2 i 0,1, a wartością górnego P jest 0.5, model
wybierz A lub B jako następny token przy użyciu temperatury i wyklucz C jako
kandydaci.
Jeśli chcesz uzyskiwać mniej losowe odpowiedzi, podaj niższą wartość, a jeśli mniej, to wyższą.
losowe odpowiedzi. Wartość domyślna parametru górnego P to 0.95.