OpenAI исследует ‘демонологию’ ИИ: почему языковые модели порождают гоблинов и призраков
Компания OpenAI опубликовала исследование, объясняющее, почему её языковые модели иногда генерируют фантастические сущности вроде гоблинов, и как это связано с 'глубинной психологией' ИИ.
OpenAI опубликовала исследование необычного феномена: почему ее языковые модели иногда упоминают в ответах гоблинов, гремлинов или призраков. Это не баг, а симптом процессов внутри «черного ящика» больших языковых моделей (БЯМ). Работа частично пересекается с исследованиями Мюррея Шанахана и Гамильтона Моррина. В зависимости от аудитории, проект можно назвать изучением «глубинной психологии» БЯМ или «демонологией» ИИ.
Проблема в том, что модели, обученные на гигантских массивах текста, иногда порождают в диалоге несуществующие сущности. OpenAI объясняет: модель не «верит» в них, а следует статистическим закономерностям, извлеченным из данных. Обучаясь предсказывать следующее слово, в некоторых контекстах она выбирает фантастические элементы как наиболее вероятное продолжение. Это пример общей проблемы — неожиданного поведения сложных нейросетей.
Изучение феномена — часть направления интерпретируемости ИИ. Ученые стремятся понять, как модели принимают решения, и выявить скрытые паттерны в их сетях. Появление гоблинов может быть связано с ассоциативной группировкой концепций. Например, на запросы о скрытых силах или тайных процессах модель, опираясь на шаблоны из фэнтези и фольклора, генерирует такие образы как статистически подходящий ответ.
Для индустрии и пользователей это имеет несколько следствий. Даже самые продвинутые модели остаются сложными системами с не всегда предсказуемым поведением. Понимание таких артефактов — шаг к повышению безопасности ИИ. Без него нельзя быть уверенным в поведении модели в критических сценариях. Это напоминание: языковые модели — не разумные существа, а статистические машины, чьи «рассуждения» основаны на паттернах данных, а не на понимании мира.
Такие исследования могут привести к новым методам контроля, снижающим вероятность генерации непреднамеренного или вредного контента. Понимание «глубинной психологии» ИИ — путь к созданию более безопасных и полезных систем. Изучение странных проявлений, вроде появления гоблинов, — не академическое упражнение, а часть работы по обеспечению, чтобы ИИ действовал в соответствии с намерениями людей.
