Новости ИИ

Как отвечает искусственный интеллект на вопросы?

Юлия, Омск 706 просм.

Задаю чат-боту один и тот же вопрос дважды и получаю два разных по формулировке ответа, хотя смысл вроде совпадает. Значит ли это, что где-то у него есть база готовых ответов и он ее просто перефразирует, или там что-то другое происходит?

Дмитрий Волков инженер по машинному обучению

ответил

эксперт

Готовой базы ответов внутри нет. Модель генерирует текст слово за словом (точнее, токен за токеном): на каждом шаге она вычисляет, какое продолжение наиболее вероятно с учетом всего, что написано до этого места, выбирает один из вероятных вариантов и добавляет его к ответу, а затем повторяет процесс уже с новым текстом.

Именно из-за этого механизма один и тот же вопрос может дать разные по формулировке ответы: на каждом шаге система выбирает не строго самый вероятный вариант слова, а один из нескольких похожих по вероятности, с элементом случайности. Это сделано намеренно — иначе ответы были бы скучными и одинаковыми до последней запятой при любом переспросе. Смысл при этом обычно сохраняется, потому что он определяется всей структурой обучения модели, а не конкретным выбором отдельных слов.

Откуда модель вообще берет знания, чтобы отвечать: на этапе обучения она прочитала огромное количество текстов и запомнила статистические закономерности языка и фактов — какие слова обычно идут рядом, какие утверждения обычно встречаются вместе. Она не хранит текст дословно и не открывает файл с ответом, а восстанавливает наиболее вероятное содержание по этим закономерностям.

Из этого следуют два практических момента:

  • если факт редкий или узкоспециальный, вероятность ошибки выше — модель может «достроить» правдоподобный, но неверный ответ там, где не хватает данных;
  • задавая уточняющий вопрос или переформулируя запрос, вы фактически меняете стартовую точку для генерации, поэтому ответ может заметно отличаться даже при том же смысле вопроса.

Задать свой вопрос

Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.

Похожие вопросы

Все в теме