Нейросети · IT-курсы · 4 мин чтения
Что такое токены и контекстное окно нейросети?
Редакция Алгоса · Обновлено
Короткий ответ
Токен — небольшая единица, на которые система разбивает текст для обработки: это может быть слово, часть слова или знак. Контекстное окно ограничивает объём данных, доступных модели за один запрос. Поэтому длинная переписка не означает бесконечной памяти. Для продолжения сложной работы полезно коротко повторять цель, важные условия и уже принятые решения, а нужные исходные данные держать под рукой.
Не считай токены обычными словами
Перед обработкой текст превращается в последовательность небольших единиц. Одно частое слово может соответствовать одному токену, а другое разбиваться на несколько частей. Знаки препинания и особенности записи тоже влияют на разбиение. Оно зависит от конкретной системы.
Поэтому универсального правила «один токен — одно русское слово» нет. Точное количество нельзя надёжно определить только по числу пробелов. Для понимания достаточно модели: текст занимает определённое место, а доступный объём ограничен.
Представь рабочий стол ограниченного размера
Контекст — сведения, доступные модели при построении текущего ответа. Сюда могут входить запрос, части диалога, инструкции и приложенные данные. Что именно приложение передаёт модели, зависит от его устройства; вся история в окне чата не обязательно обрабатывается целиком.
Ты долго обсуждал сайт кружка. Перед новым шагом напиши: «Цель — страница шахматного кружка. У нас одна колонка на телефоне, две на широком экране. Нельзя менять текст расписания. Сейчас исправляем меню». Это полезнее, чем одно «продолжай».
Почему большое окно не гарантирует внимания ко всем деталям
Вместить сведения и правильно использовать каждую часть — разные задачи. В длинном материале модель всё равно может пропустить условие или связать несвязанные фрагменты. Поэтому главные ограничения стоит явно выделить в новом запросе, а результат проверить по ним.
Сохраняй короткий проверяемый итог
Для длинной работы веди отдельную запись: цель, исходные данные, принятые решения и следующий шаг. Такой итог можно проверить глазами и передать в новую беседу. Не рассчитывай, что система сама всегда восстановит забытые детали.
Не заменяй исходный текст пересказом, когда важны точные числа или формулировки. Краткая запись помогает ориентироваться, но нужный фрагмент задачи лучше приложить заново. Чужие личные сведения для этого замени вымышленными обозначениями, сохранив смысл упражнения.
Что запомнить
Токены измеряют объём обработки, контекст ограничивает доступные сведения. Повторяй важные условия и сохраняй проверенный итог.
Попробовать на Алгосе
Нейросети на каждый день
В курсе можно потренироваться задавать понятные запросы, уточнять ответы и находить ошибки в работе ИИ-помощника.
Перейти к курсу Все курсы