Что такое токен в языковых моделях?

Токен — это кусок текста, на которые модель делит запрос перед обработкой: чаще всего часть слова, целое короткое слово или знак препинания. Для английского языка одно слово это обычно один-два токена, для русского из-за более длинных слов и приставок получается больше, иногда три-четыре токена на слово.

С безопасностью это связано напрямую через понятие окна контекста — максимального числа токенов, которое модель удерживает в поле зрения одновременно. Если разговор или документ длиннее этого окна, старые токены выпадают из памяти модели первыми. На практике это значит: системные инструкции или правила безопасности, заданные в начале длинного диалога, могут перестать учитываться моделью просто потому, что физически выпали за пределы окна, а не потому, что модель их сознательно проигнорировала.

Из этого следует практический вывод: если вы настраиваете бота с правилами поведения, не рассчитывайте, что правила из первого сообщения будут действовать вечно в очень длинном чате — их стоит периодически повторять или использовать инструменты, которые закрепляют системный промпт отдельно от истории диалога.

Лимит токенов также напрямую влияет на стоимость: большинство сервисов берут оплату именно за токены на входе и выходе, поэтому длинные документы и долгая переписка с ботом стоят заметно дороже короткого запроса.