Что такое контекст большой языковой модели?

Контекст, или контекстное окно — это объем текста, который модель видит целиком за один раз: сюда входят и ваши сообщения, и ее собственные предыдущие ответы в этом диалоге. Измеряется он не в словах, а в токенах — кусочках слов, на которые модель разбивает текст, обычно один токен примерно соответствует части слова или короткому слову целиком.

Когда переписка становится длиннее, чем помещается в это окно, самые старые сообщения буквально перестают попадать в поле зрения модели — не потому что она их «забыла» в человеческом смысле, а потому что они физически выпали за границу видимого текста при формировании ответа. Именно это вы и наблюдаете: начало разговора пропадает не постепенно, а довольно резко, как только новый текст вытесняет старый.

Размер окна сильно различается между моделями: у одних это несколько тысяч токенов, у других, вроде Claude или Gemini, счет идет на сотни тысяч и даже больше. Но здесь есть нюанс, который часто упускают: даже при большом номинальном окне качество ответа на детали из середины очень длинного текста нередко проседает, модель просто хуже удерживает внимание на всем объеме сразу.

Что делать на практике: в длинных рабочих обсуждениях периодически напоминайте ключевые факты и условия заново своими словами, не полагаясь, что модель их еще помнит. Большие документы лучше разбивать на смысловые части, а для нового вопроса, не связанного с предыдущим, выгоднее начать новый чат, чем тянуть один бесконечный — так модель будет отвечать точнее и быстрее.