Искусственный интеллект — это просто компьютерная программа?

Формально приятель прав: искусственный интеллект работает как программа, исполняется на обычном железе, никакой мистики в нем нет. Но за этим «просто программа» скрывается принципиально другое устройство, и разница здесь не риторическая, а как раз то, чем занимаюсь я по работе.

Обычная программа — это код, который написал человек: если условие А, сделать Б, иначе сделать В. Такую логику можно прочитать построчно и точно предсказать, что программа сделает при любых входных данных. Языковая модель устроена иначе: программист не пишет правила ответов вручную, а запускает процесс обучения, в ходе которого модель сама подбирает миллиарды числовых параметров, глядя на примеры текстов. Результат — система, поведение которой предсказывается статистически, а не задается явным правилом, и даже разработчики модели не всегда могут точно объяснить, почему на конкретный запрос она ответила именно так, а не иначе.

Из этой разницы и вытекает моя профессия. Проверка обычной программы на безопасность — это поиск ошибок в коде: переполнение буфера, неверная проверка прав доступа. Проверка модели включает совсем другие риски: можно ли обмануть ее специально составленным запросом, чтобы она обошла собственные ограничения, начнет ли она выдавать выдуманные факты как достоверные, можно ли испортить ее ответы, подсунув вредоносные данные еще на этапе обучения. Для классического кода такие категории проблем просто не существуют.

Так что спор скорее не про то, программа это или нет, — формально да, работает на компьютере, ничего сверхъестественного. Спор про то, что внутри у этой программы принципиально другой механизм принятия решений, и именно это делает ее и мощнее обычного кода, и сложнее в проверке на надежность.