Każde wywołanie wysłane do modelu zawiera wartości parametrów, które określają, jak model wygeneruje odpowiedź. Model może generować różne wyniki zależnie od tych wartości. Wypróbuj różne wartości parametrów, aby uzyskać najlepsze wyniki w tym zadaniu. Parametry dostępne dla różnych modeli mogą różnią się od siebie.
Konfiguracja jest przechowywana przez cały okres Instancja usługi i modelu Vertex AI. Aby zaktualizować konfigurację modelu, musisz ponownie zainicjować instancję modelu.
Później na tej stronie dowiesz się, jak skonfigurować parametry modelu.
Opis każdego parametru
Najczęstsze parametry to:
Więcej informacji o każdym z tych parametrów znajdziesz w kolejnych sekcjach tej strony.
Maksymalna liczba tokenów wyjściowych
Maksymalna liczba tokenów, które można wygenerować w odpowiedzi. Token jest: powinien składać się z około 4 znaków. 100 tokenów odpowiada około 20 słowom.
Jeśli chcesz uzyskiwać krótsze odpowiedzi, podaj niższą wartość, a jeśli dłuższe – wyższą.
Temperatura
Temperatura jest używana do próbkowania podczas generowania odpowiedzi, co ma miejsce, gdy są stosowane topP i topK. Temperatura decyduje o stopniu losowości wyboru tokenów. Niższe temperatury są przydatne w przypadku promptów, na które oczekuje się bardziej deterministycznej i mniej otwartej lub kreatywnej odpowiedzi, a wyższe mogą prowadzić do bardziej różnorodnych lub kreatywnych wyników. Temperatura 0 jest deterministyczna, co oznacza, że zawsze jest wybierana najbardziej prawdopodobna odpowiedź.
W większości przypadków dobrze jest zacząć od temperatury 0.2. Jeśli
model zwróci zbyt ogólną lub krótką odpowiedź,
odpowiedź zastępczą, spróbuj zwiększyć temperaturę.
Top-K
Parametr Top-K zmienia sposób, w jaki model wybiera tokeny w celu wygenerowania odpowiedzi. Górne K
1 oznacza, że następny wybrany token jest najbardziej prawdopodobny
tokeny w słowniku modelu (nazywane też dekodowaniem zachłannym), podczas gdy górne K o wartości
3 oznacza, że następny token jest wybierany spośród 3 najbardziej
prawdopodobnych tokenów.
Na każdym etapie wyboru tokena próbkowane są tokeny Top-K o najwyższym prawdopodobieństwie. Tokeny są następnie filtrowane na podstawie górnego P z końcowy token wybrany za pomocą próbkowania z użyciem temperatury.
Jeśli chcesz uzyskiwać mniej losowe odpowiedzi, podaj niższą wartość, a jeśli bardziej – wyższą. Wartość domyślna parametru górnego K to 40.
Top-P
Parametr Top-P również zmienia sposób, w jaki model wybiera tokeny w celu wygenerowania odpowiedzi. Wybrano tokeny
od najbardziej (patrz górne K) do najmniej prawdopodobnych aż do sumy ich prawdopodobieństw
równa się wartości górnego P. Jeśli na przykład tokeny A, B i C mają prawdopodobieństwa 0,3, 0,2 i 0,1, a wartością Top-P jest 0.5, jako kolejny token model wybierze A lub B (z użyciem temperatury), a token C zostanie wykluczony.
Jeśli chcesz uzyskiwać mniej losowe odpowiedzi, podaj niższą wartość, a jeśli bardziej – wyższą. Wartość domyślna parametru górnego P to 0.95.