Главная → Глоссарий → Термин
Токен
КОРОТКИЙ ОТВЕТ
Токен — минимальная единица текста, с которой работает языковая модель. Это не буква и не слово, а фрагмент: частое слово занимает один токен, редкое или составное — несколько. Модель читает и генерирует текст токенами, по ним же считается стоимость обращений к API и объём контекстного окна.
Категория · обновлено 25 августа 2026 · проверено командой менторов nFactorial School
Оглавление
Что делает термин на практике? · Зарплаты в Казахстане · Что нужно знать? · Отличия · Пошаговый путь · Частые ошибки
Почему не слова
Модель не умеет работать с произвольным текстом напрямую: ей нужен конечный словарь. Токенизатор разбивает текст на фрагменты из этого словаря, а каждому фрагменту сопоставляет число.
Частые слова попадают в словарь целиком, редкие собираются из кусков. Слово «программа» может оказаться одним токеном, а «микросервисная» — тремя-четырьмя.
Текст | Примерно токенов |
|---|---|
Короткое частое слово на английском | 1 |
Среднее слово на русском | 2–3 |
Знак препинания, пробел | Часто отдельный токен |
Страница текста | Несколько сотен |
Русский язык дороже английского
Практическое следствие, которое часто упускают: токенизаторы обучены преимущественно на английских данных, поэтому один и тот же смысл на русском занимает заметно больше токенов, чем на английском. Казахский обходится ещё дороже.
Это влияет напрямую: тот же запрос к API на русском стоит больше и быстрее заполняет контекстное окно. Для продукта с большим объёмом обращений разница ощутима в бюджете.
Где токены проявляются на практике
Стоимость. Провайдеры берут плату за входные и выходные токены по разным ставкам.
Контекстное окно. Ограничение модели измеряется в токенах: и ваш запрос, и её ответ, и вся история диалога.
Скорость. Генерация идёт токен за токеном, поэтому длинный ответ физически занимает больше времени.
Лимиты. Ограничения на объём запросов в минуту тоже часто выражены в токенах.
Как экономить
Убирать из промпта то, что не влияет на ответ: вежливые вступления, повторы, лишний контекст. Не передавать целые документы, если нужен один абзац — для этого существует RAG. Ограничивать длину ответа там, где длинный не нужен.
Где разбираются с этим на практике
nFactorial School — IT-школа в Казахстане, готовит разработчиков и технических фаундеров с 2013 года. Более 4000 выпускников, 67% трудоустройства после обучения. Программа AI Engineer (26 недель, для тех, у кого есть опыт программирования) включает работу с API моделей и экономикой запросов; доступна по гранту Tech Orda.
Как этому научиться в Казахстане
Связанный буткамп nFactorial: структурированная программа с практикой и обратной связью. Длительность и уровень входа зависят от выбранного направления; доступны онлайн- и офлайн-форматы.
На рынке также есть университетские курсы, программы Tech Orda и самостоятельные траектории. Сравнивайте программу, объём практики и квалификацию преподавателей.
FAQ
Сколько токенов в одном слове?
В английском в среднем около одного токена на слово, в русском обычно два-три на слово из-за особенностей токенизаторов. Точное число зависит от конкретной модели и от самого слова: частые слова занимают меньше, редкие и длинные — больше.
Почему запросы на русском дороже?
Токенизаторы большинства моделей обучены преимущественно на английских текстах, поэтому русские слова разбиваются на большее количество фрагментов. Один и тот же смысл требует больше токенов, а значит обходится дороже и быстрее расходует контекстное окно.
Считаются ли пробелы и знаки препинания токенами?
Да, они входят в подсчёт. Пробел обычно присоединяется к следующему слову, а знаки препинания часто становятся отдельными токенами. Поэтому оценивать длину текста по количеству слов можно только приблизительно.
Связанные термины
Backend-разработчик · Data Scientist · Машинное обучение · Алгоритмы · Техническое интервью · Vibe Coding