Что такое токены в нейросети?

Токен — это кусочек текста, на который нейросеть режет запрос перед обработкой. Это не всегда целое слово: короткие частые слова вроде «и» или «на» обычно становятся одним токеном, а длинные или редкие разбиваются на несколько частей.

Для русского языка соотношение хуже, чем для английского: одно слово часто превращается в 2-3 токена, потому что модели изначально обучали в основном на английских текстах. Отсюда неочевидный эффект: один и тот же смысл на русском обходится в токенах дороже, и лимит на практике «тает» быстрее.

Считают именно в токенах по двум причинам. Во-первых, это единица, с которой физически работает архитектура трансформера — модель предсказывает следующий токен, а не следующую букву или слово. Во-вторых, токены — это единица оплаты у большинства сервисов: вы платите отдельно за токены на входе и на выходе.

Лимит контекста (те самые 4000 или 128 тысяч) — это максимум токенов, который модель удерживает за один разговор, включая и вашу переписку, и её собственные ответы. Когда диалог упирается в этот предел, старые сообщения начинают выпадать из памяти модели.

Отдельно как специалист по безопасности замечу: чем больше контекст, тем больше данных модель обрабатывает и хранит за раз, включая то, что вы вставили туда случайно — пароли, номера договоров, персональные данные клиентов. Правило простое: не вносите в диалог с нейросетью то, что не хотели бы увидеть в чужих логах, независимо от размера лимита.