Как мыслит искусственный интеллект?

Это иллюзия, хотя и очень качественная. Языковая модель не рассуждает в человеческом смысле — у нее нет ни убеждений, ни понимания смысла происходящего, ни цели, которую она преследует между вашими сообщениями. Она предсказывает наиболее вероятное продолжение текста, опираясь на статистику, полученную при обучении на огромном массиве текстов.

Ощущение осмысленности возникает потому, что человеческая речь сама по себе устроена логично и связно, и модель, обученная воспроизводить такие тексты, автоматически выдает связные, звучащие разумно ответы. Она может выстроить цепочку рассуждений шаг за шагом — это называют chain of thought, — и внешне это выглядит как мышление. Но по сути это все еще генерация текста, похожего на рассуждение, а не проверка фактов и не понимание причин и следствий так, как это делает человек.

Из этого вытекает важное практическое следствие для безопасности: уверенный и гладкий тон ответа никак не гарантирует его правильность. Модель с одинаковой убедительностью может выдать точный факт и правдоподобную выдумку — она сама не различает эти два случая внутри себя, потому что не хранит источник каждого утверждения.

Что стоит держать в голове при общении с такими системами:

• проверять цифры, даты и утверждения о фактах через независимый источник, особенно если решение на их основе важное;
• относиться к развернутому «рассуждению» модели как к полезному черновику, а не как к готовому выводу эксперта;
• помнить, что за красивой формулировкой не обязательно стоит понимание — иногда это просто самая вероятная последовательность слов.