Как придумали нейросеть?

Идея действительно старше, чем кажется. В 1943 году нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс описали модель нейрона как простую логическую функцию: на входе несколько сигналов, если их сумма превышает порог, нейрон срабатывает. Никакого обучения там не было, только идея, что работу мозга можно описать математикой.

Первую рабочую модель, которая умела учиться на примерах, построил в 1958 году психолог Фрэнк Розенблатт. Персептрон Mark I занимал целую комнату и распознавал простые изображения через 400 фотоэлементов. Пресса тогда писала, что машина скоро научится ходить и разговаривать — ожидания сильно опередили возможности железа.

В 1969 году Марвин Минский и Сеймур Паперт математически показали, что персептрон не умеет решать даже простую логическую задачу XOR. Интерес к нейросетям упал почти на пятнадцать лет, деньги на такие исследования перестали давать.

Второе рождение случилось в 1986 году, когда Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс описали метод обратного распространения ошибки. Он позволил обучать сети с несколькими слоями, а не одним, и снял то самое ограничение из 1969 года.

Настоящий прорыв пришёл только в 2012 году, когда сеть AlexNet на видеокартах Nvidia выиграла конкурс распознавания изображений ImageNet с большим отрывом от конкурентов. Дело было не в новой теории, а в том, что видеокарты и объём данных наконец догнали идеи 1980-х. С этого момента и начался нынешний бум глубокого обучения.