Modele generatywnej AI (takie jak modele Gemini) dzielą dane na jednostki zwane tokenami w celu ich przetwarzania. Każdy model Gemini ma maksymalną liczbę tokenów, które może obsłużyć w promptach i odpowiedziach.
Na tej stronie dowiesz się, jak oszacować liczbę tokenów i liczbę znaków podlegających rozliczeniu w prośbie.
Jakie informacje są podawane w liczbie?
Pamiętaj o tych kwestiach dotyczących zliczania tokenów i znaków podlegających opłacie:
Zliczanie łącznej liczby tokenów
Ta liczba pomaga upewnić się, że żądania nie przekraczają dozwolonego okna kontekstu.
Liczba tokenów będzie odzwierciedlać rozmiar wszystkich plików (np. obrazów), które są dostarczane jako część danych wejściowych żądania. Nie będzie ona uwzględniać liczby obrazów ani liczby sekund w filmie.
W przypadku wszystkich modeli Gemini token odpowiada około 4 znakom. 100 tokenów to około 60–80 słów w języku angielskim.
Liczenie łącznej liczby znaków podlegających opłacielności
Ta liczba jest przydatna do zrozumienia i kontrolowania kosztów, ponieważ w przypadku Vertex AI liczba znaków jest uwzględniana w obliczeniach cen.
Liczba znaków podlegających rozliczeniu będzie odpowiadać liczbie znaków w tekście podanym w danych wejściowych żądania.
W przypadku Vertex AI tokeny nie są uwzględniane w obliczeniach cen. Dowiedz się więcej o limitach tokenów na model i cenach za model.
Ceny i limity dotyczące zliczania tokenów i płatnych znaków
Korzystanie z interfejsu API CountTokens nie wiąże się z opłatami ani ograniczeniami dotyczącymi limitu. Maksymalny limit interfejsu API CountTokens to 3000 żądań na minutę.