Modele generatywnej AI (takie jak modele Gemini) rozkładają dane na jednostki nazywane tokeny do przetworzenia. Każdy model Gemini ma maksymalną liczbę tokenów który może obsłużyć w prompcie i odpowiedzi.
Na tej stronie dowiesz się, jak oszacować liczbę tokenów i liczbę płatne znaki w żądaniu.
Jakie informacje zawiera liczba?
Pamiętaj o liczeniu tokenów i znaków podlegających rozliczeniu:
Zliczanie łącznej liczby tokenów
Dzięki temu masz pewność, że żądania nie przekraczają dopuszczalnej okna kontekstu.
Liczba tokenów odzwierciedla rozmiar wszystkich plików (np. obrazów). podawane w polu żądania. Nie będzie natomiast liczyć liczba obrazów czy liczba sekund filmu.
We wszystkich modelach Gemini token odpowiada około 4 znakom. 100 tokeny składają się z około 60–80 słów w języku angielskim.
Zliczanie wszystkich znaków podlegających rozliczeniu
Ta liczba pomaga zrozumieć i kontrolować koszty, ponieważ w przypadku Vertex AI liczba znaków jest przy obliczaniu ceny.
Liczba znaków podlegających rozliczeniu będzie odzwierciedlać liczbę znaków w wartości tekst podawany w polu request.
W przypadku Vertex AI tokeny nie są uwzględniane przy obliczaniu cen. Więcej informacji o limity tokenów na model i cenę dla danego modelu.
Ceny i limit liczenia tokenów i znaków podlegających rozliczeniu
Korzystanie z interfejsu API CountTokens nie wiąże się z żadnymi opłatami ani ograniczeniami.
maksymalny limit dla interfejsu API CountTokens wynosi 3000 żądań na minutę.