Развитие искусственного интеллекта: от перцептрона до нынешних моделей

Искусственный интеллект - это направление в разработке программ, которые вместо жёстко прописанных инструкций учатся находить закономерности в данных и применять их к новым, ранее не встречавшимся примерам. Развитие искусственного интеллекта заняло больше семидесяти лет и шло рывками: десятилетия почти без прогресса сменялись периодами, за которые менялось почти всё.

История развития искусственного интеллекта распадается на несколько волн, и у каждой было своё чрезмерное обещание и своё разочарование. Может казаться, что нейросети возникли внезапно в 2022 году, но идеи, которые сегодня работают, обсуждались ещё в середине двадцатого века - просто тогда не хватало ни данных, ни вычислительной мощности, чтобы довести их до практической пользы.

Перцептрон: первая попытка научить машину видеть

В 1958 году американский психолог Фрэнк Розенблатт построил перцептрон - устройство, которое должно было отличать одни изображения от других. По сути это была связка искусственных нейронов: каждый вход умножался на свой вес, сумма сравнивалась с порогом, и если порог превышался, устройство выдавало ответ "да". Похоже на то, как вы на глаз решаете, стоит ли переходить дорогу: оцениваете скорость машины, расстояние до неё, свой запас времени - и принимаете решение, даже не проговаривая формулу словами.

Перцептрон находил простые закономерности, но не справлялся с задачами, где нужна была не одна граница, а несколько условий сразу. В 1969 году математики Марвин Минский и Сеймур Пейперт формально показали ограничения такой однослойной схемы, и интерес к нейросетям резко упал. Финансирование сократили, публикации почти прекратились - начался период, который позже назовут первой зимой искусственного интеллекта.

Экспертные системы: ставка на правила вместо обучения

Пока нейросети были в опале, развитие искусственного интеллекта пошло другим путём - через экспертные системы. Идея была простой: вместо обучения на примерах специалисты вручную прописывали правила вида "если у пациента есть симптом X и анализ показывает Y, то вероятен диагноз Z". В узких областях такие системы работали неплохо - помогали, например, в отдельных разделах медицинской диагностики.

Проблема вскрылась быстро. Правила писали люди, и как только область знаний расширялась, правил требовалось всё больше, а система становилась хрупкой: одно неучтённое исключение - и вывод разваливался. Это похоже на попытку описать правилами абсолютно любую ситуацию на дороге: сколько пунктов ни добавляй, реальность всегда подкинет условие, которое забыли предусмотреть. К концу восьмидесятых интерес к экспертным системам снова упал - наступила вторая зима.

Нейронные сети возвращаются

В восьмидесятых и девяностых годах у нейросетей появился инструмент, которого не хватало перцептрону, - метод обратного распространения ошибки. Он позволил обучать сети с несколькими слоями и постепенно подстраивать веса каждого нейрона так, чтобы итоговая ошибка уменьшалась. Грубо говоря, сеть теперь могла не просто выдавать "да" или "нет", а собирать сложный ответ из простых признаков по частям: сначала находить границы на изображении, затем из границ складывать формы, а из форм - объекты целиком.

Метод упирался в возможности тогдашних компьютеров: обучение больших сетей требовало вычислений, которые обычные машины девяностых просто не могли себе позволить. Поэтому на практике нейросети оставались нишевым инструментом - распознавание рукописных цифр на банковских чеках, отдельные исследовательские проекты. О массовом применении речи не шло.

Глубокое обучение и вычислительный перелом

Ситуация изменилась сразу в двух местах. Во-первых, у мира появилось огромное количество данных: интернет заполнился текстами, фотографиями и разметкой к ним. Во-вторых, оказалось, что видеокарты, изначально созданные для игр, отлично подходят для тех же вычислений, которые нужны нейросетям, - множества одинаковых операций с матрицами, которые можно считать параллельно.

В 2012 году сеть AlexNet выиграла крупное соревнование по распознаванию изображений с большим отрывом от конкурентов на классических методах. Это стало поворотной точкой: индустрия увидела, что глубокие сети на видеокартах обгоняют десятилетия наработок в компьютерном зрении, и вложения в эту область резко выросли. С этого момента развитие искусственного интеллекта перестало быть делом университетских лабораторий и стало предметом интереса крупных компаний. Сетей и подходов к тому времени накопилось так много, что появился смысл вообще их различать по типу и назначению - этому посвящён отдельный разбор: Системы искусственного интеллекта: как их классифицируют.

Трансформеры: архитектура, которая изменила языковые модели

До середины десятых годов нейросети хорошо справлялись с изображениями, а вот с текстом дела шли хуже: рекуррентные сети читали предложение слово за словом и к концу длинного текста теряли начало - как если бы вы читали книгу и после каждой страницы забывали часть прочитанного.

В 2017 году исследователи предложили архитектуру трансформер, которая смотрит на всё предложение сразу и определяет, какие слова из контекста важны для понимания каждого конкретного слова. Условно, вместо того чтобы читать текст линейно, модель как будто держит перед собой сразу все слова и решает, на какие из них сильнее опираться в этом месте. Именно на трансформерах построены современные большие языковые модели - от закрытых сервисов вроде GPT до открытых моделей, которые можно скачать и запустить на своём железе. Разброс между ними велик, и он касается не только цены: Открытые языковые модели: какие бывают и чем отличаются.

От лабораторий к телефону в кармане

Заметный для обычных людей скачок случился в конце 2022 года, когда OpenAI открыла публичный доступ к ChatGPT. До этого большие языковые модели уже существовали, но пользоваться ими напрямую могли в основном разработчики через программные интерфейсы. Простой чат в браузере убрал этот барьер, и за короткое время сервисом стали пользоваться десятки миллионов человек.

С тех пор индустрия развивается заметно быстрее, чем в любой из предыдущих периодов: крупные компании выпускают обновлённые модели по несколько раз в год, и у каждого крупного игрока - OpenAI, Google, российского Яндекса и других - есть своя линейка. У части сервисов есть бесплатный доступ с ограничениями по числу запросов в сутки, у части - платная подписка вроде ChatGPT Plus, которая на момент публикации стоит около 20 долларов в месяц, хотя тарифы у всех сервисов время от времени меняются. Про то, что из этого реально работает без оплаты и без VPN, есть отдельный разбор: Бесплатные нейросети: что реально работает без оплаты и VPN.

Частые заблуждения о развитии искусственного интеллекта

ИИ появился внезапно в 2022 году. Нет, тогда широкая публика получила прямой доступ к результату работы, которая шла с 1950-х годов. Технологии развивались постепенно, а рывок оказался заметен со стороны в одной конкретной точке.

Чем больше модель, тем она умнее. Размер модели действительно был одним из главных факторов роста качества в конце десятых - начале двадцатых годов, но дальше в дело всё сильнее вмешиваются качество данных и методы обучения. Разработчики всё чаще выпускают компактные модели, которые по отдельным задачам не уступают более крупным предшественникам.

Современная модель понимает текст так же, как человек. Языковая модель предсказывает наиболее вероятное продолжение текста на основе того, чему обучилась на огромном объёме примеров. Она может рассуждать связно и ошибаться на человеческий манер, но это не то же самое, что осознанное понимание, - у исследователей до сих пор нет единого мнения даже о том, как определять это понимание применительно к нейросетям.

Экспертные системы были тупиковой веткой и ничего не дали. На самом деле дали: идея структурировать знания и проверять вывод на противоречия используется до сих пор, просто как часть более широких систем, а не как самостоятельный подход.

Понимать эту историю полезно не из любопытства, а чтобы трезвее относиться к новостям про нейросети. Когда очередной сервис называют прорывом, стоит спросить себя: это действительно новая архитектура или новая версия того, что появилось ещё в 2017 году, просто обученная на большем объёме данных. Разница в масштабе - тоже прогресс, но не революция каждую неделю, как иногда преподносят в заголовках. Свежие материалы о том, что происходит в языковых моделях прямо сейчас, собраны в архив рубрики.