Что такое контекст в нейросети?

Контекст — это весь текст, который нейросеть видит перед тем, как ответить: ваши сообщения, её собственные предыдущие реплики и системные инструкции. Модель не хранит разговор в памяти, как человек, а каждый раз заново читает всю переписку целиком и уже на основе этого генерирует следующий ответ.

У контекста есть предел, его называют «окном контекста» и измеряют в токенах — это кусочки слов, примерно три четверти обычного слова на один токен. У современных моделей окно составляет от 32 тысяч до миллиона токенов, у ChatGPT и большинства чат-ботов на практике это несколько десятков страниц текста. Как только переписка становится длиннее окна, самые старые сообщения из него просто выпадают, и модель их больше не видит.

Отсюда и эффект забывания: если в начале разговора вы указали важную деталь, а потом долго обсуждали другие темы, деталь может уйти за пределы окна, и модель перестанет её учитывать. Решение простое — в длинном диалоге периодически напоминайте ключевые факты заново или начинайте новый чат с кратким пересказом сути.

Стоит различать контекст и память: некоторые сервисы, например ChatGPT с включённой функцией памяти, отдельно сохраняют отдельные факты о вас между разговорами. Но это дополнительная функция поверх окна контекста, а не замена ему.