Что такое контекст в искусственном интеллекте?

Контекст — это весь текст, который модель видит перед тем, как сгенерировать ответ: системная инструкция, вся история переписки и ваше текущее сообщение. У этого объема есть жесткий предел, который называют контекстным окном, и измеряется он не в словах, а в токенах — фрагментах слов, на которые модель разбивает текст. Для русского языка одно слово в среднем распадается на полтора-два токена, так что окно в десять тысяч токенов — это примерно пять-семь тысяч слов, а не десять тысяч.

Когда диалог перерастает размер этого окна, самые старые сообщения приходится обрезать или сжимать в краткое резюме, чтобы освободить место для новых. Именно поэтому модель со временем теряет детали, которые вы упоминали в начале: технически они просто вышли за пределы того, что она сейчас видит.

У разных моделей окно сильно отличается по размеру: от нескольких тысяч токенов у ранних версий до сотен тысяч и даже пары миллионов у современных. Но большое окно не решает проблему полностью. Даже если вся переписка технически помещается, модели свойственно хуже удерживать детали, которые находятся в середине длинного текста, а не в начале или в конце — это называют эффектом потерянной середины, и он проявляется даже при щедром лимите токенов.

Практический совет: если разговор затягивается на десятки сообщений и модель начинает путаться или противоречить сама себе, не пытайтесь исправить это дополнительными уточнениями внутри того же диалога. Проще кратко резюмировать ключевые факты одним сообщением и начать новую беседу с этого резюме — так модель снова будет держать в поле зрения именно то, что важно, а не искать это среди сотен предыдущих реплик.