Modele generatywnej AI (takie jak modele Gemini) dzielą dane na jednostki nazywane tokenami, które je przetwarzają. Każdy model Gemini ma maksymalną liczbę tokenów, które może obsłużyć w prompcie i odpowiedzi.
Na tej stronie dowiesz się, jak uzyskać szacunkową liczbę tokenów i liczbę znaków podlegających rozliczeniu w przypadku żądania.
Jakie informacje zawiera liczba?
Pamiętaj o liczeniu tokenów i znaków podlegających rozliczeniu:
Zliczanie łącznej liczby tokenów
Dzięki tej liczbie masz pewność, że żądania nie przechodzą przez dopuszczalne okno kontekstu.
Liczba tokenów odzwierciedla rozmiar wszystkich plików (np. obrazów) podanych w danych wejściowych żądania. Nie zlicza on obrazów ani sekund filmu.
We wszystkich modelach Gemini token odpowiada około 4 znakom. 100 tokenów to około 60–80 angielskich słów.
Zliczanie wszystkich znaków podlegających rozliczeniu
Ta liczba pomaga zrozumieć i kontrolować koszty, ponieważ w przypadku Vertex AI liczba znaków jest uwzględniana przy obliczaniu ceny.
Liczba znaków podlegających rozliczeniu to liczba znaków w tekście podanym jako część danych wejściowych żądania.
W przypadku Vertex AI tokeny nie są uwzględniane przy obliczaniu cen. Dowiedz się więcej o limitach tokenów na model i cenach poszczególnych modeli.
Ceny i limit liczenia tokenów i znaków podlegających rozliczeniu
Korzystanie z interfejsu API CountTokens nie wiąże się z żadnymi opłatami ani ograniczeniami. Maksymalny limit dla interfejsu API CountTokens to 3000 żądań na minutę.