Modele generatywnej AI (takie jak modele Gemini) rozkładają dane na jednostki nazywane tokeny do przetworzenia. Każdy model Gemini ma maksymalną liczbę tokenów, które może obsłużyć w promptach i odpowiedziach.
Na tej stronie dowiesz się, jak oszacować liczbę tokenów i liczbę płatne znaki w żądaniu.
Jakie informacje zawiera liczba?
Pamiętaj o liczeniu tokenów i znaków podlegających rozliczeniu:
Zliczanie łącznej liczby tokenów
Ta liczba pomaga upewnić się, że żądania nie przekraczają dozwolonego okna kontekstu.
Liczba tokenów będzie odzwierciedlać rozmiar wszystkich plików (np. obrazów), które są dostarczane jako część danych wejściowych żądania. Nie będzie ona uwzględniać liczby obrazów ani liczby sekund w filmie.
W przypadku wszystkich modeli Gemini token odpowiada około 4 znakom. 100 tokeny składają się z około 60–80 słów w języku angielskim.
Liczenie łącznej liczby znaków podlegających opłacielności
Ta liczba jest przydatna do zrozumienia i kontrolowania kosztów, ponieważ w przypadku Vertex AI liczba znaków jest uwzględniana w obliczeniach cen.
Liczba znaków podlegających rozliczeniu będzie odpowiadać liczbie znaków w tekście podanym w ramach danych wejściowych żądania.
W przypadku Vertex AI tokeny nie są uwzględniane przy obliczaniu cen. Więcej informacji o limity tokenów na model i cenę dla danego modelu.
Ceny i limity dotyczące zliczania tokenów i znaków podlegających opłacie
Korzystanie z interfejsu API CountTokens nie wiąże się z żadnymi opłatami ani ograniczeniami.
maksymalny limit dla interfejsu API CountTokens wynosi 3000 żądań na minutę.