Modele generatywnej AI (takie jak modele Gemini) dzielą dane na jednostki zwane tokenami w celu ich przetwarzania. Każdy model Gemini ma maksymalną liczbę tokenów, które może obsłużyć w promptach i odpowiedziach.
Na tej stronie dowiesz się, jak oszacować liczbę tokenów i liczbę znaków podlegających rozliczeniu w prośbie.
Jakie informacje są podawane w liczbie?
Pamiętaj o tych kwestiach dotyczących zliczania tokenów i znaków podlegających opłacie:
Zliczanie łącznej liczby tokenów
Ta liczba pomaga upewnić się, że żądania nie przekraczają dozwolonego okna kontekstu.
Liczba tokenów będzie odzwierciedlać rozmiar wszystkich plików (np. obrazów), które są dostarczane w ramach danych wejściowych żądania. Nie będzie ona uwzględniać liczby obrazów ani liczby sekund w filmie.
W przypadku wszystkich modeli Gemini token odpowiada około 4 znakom. 100 tokenów to około 60–80 słów w języku angielskim.
Liczenie łącznej liczby znaków podlegających opłacielności
Ta liczba jest przydatna do zrozumienia i kontrolowania kosztów, ponieważ w przypadku Vertex AI liczba znaków jest uwzględniana w obliczeniach cen.
Liczba znaków podlegających rozliczeniu będzie odpowiadać liczbie znaków w tekście podanym w danych wejściowych żądania.
W przypadku Vertex AI tokeny nie są uwzględniane w obliczeniach cen. Dowiedz się więcej o limitach tokenów na model i cenach na model.
Ceny i limity dotyczące zliczania tokenów i znaków podlegających opłacie
Korzystanie z interfejsu API CountTokens nie wiąże się z opłatami ani ograniczeniami dotyczącymi limitu. Maksymalny limit interfejsu API CountTokens to 3000 żądań na minutę.