Как работает нейросеть?

Если убрать термины, нейросеть — это очень большая система из простых блоков (их называют нейронами), каждый из которых делает одну несложную вещь: берет несколько чисел на входе, умножает их на свои веса, складывает и передает результат дальше, обычно через несложную функцию, которая решает, сработал этот блок или нет. Сам по себе один такой блок ничего умного не делает, но когда таких блоков миллионы и они соединены слоями, вся система вместе способна выучивать сложные закономерности.

Ключевое слово здесь — выучивать. Нейросеть не программируют правилами вроде «если на фото есть усы и хвост, это кот». Вместо этого ей показывают тысячи или миллионы примеров с подписями, и она сама подбирает веса у своих блоков так, чтобы ошибка на этих примерах становилась все меньше. Процесс подбора весов называется обучением: сеть делает предсказание, сравнивает его с правильным ответом, вычисляет, насколько сильно ошиблась, и чуть-чуть подправляет веса в сторону уменьшения ошибки. Это повторяется миллионы раз на разных примерах.

После обучения все эти веса, по сути, и есть знания сети — гигантская таблица чисел, которая на новом, ранее не виданном примере дает осмысленный результат, потому что уловила закономерности, общие для всех примеров, на которых училась.

Языковые модели, которые генерируют текст, работают по тому же принципу, только вместо «кот или не кот» они на каждом шаге предсказывают следующее слово, опираясь на весь предыдущий текст. Кажется, что модель понимает смысл, но по сути это статистика: она выучила, какие слова обычно идут за какими в похожих контекстах, и делает предсказание на этой основе. Это не преуменьшает результат: такая статистика, собранная в достаточном масштабе, дает удивительно осмысленные тексты и изображения, но полезно помнить, что происходит внутри, когда модель ошибается и уверенно выдает неверный факт.