Простыми словами
Модель читает не буквы и не слова, а токены - куски по несколько символов. Русский текст обычно дороже английского: то же предложение разбивается на большее число кусков.
Зачем нужен
Токен - единица счёта. По нему считается, влезет ли текст в окно и сколько стоит вызов. Без этой единицы нельзя ни спланировать расход, ни понять, почему длинный файл вдруг перестал помещаться.
Как работает
Перед отправкой текст разбивается токенизатором, и модель получает последовательность номеров. Ответ собирается так же, токен за токеном, поэтому длинный ответ идёт дольше короткого.
Когда не нужен
Считать токены вручную обычно незачем: панель вызова показывает расход сама. Точный подсчёт нужен там, где считают деньги на потоке или упираются в предел окна.