Локальные нейросети: что можно запустить на своём компьютере

Локальные нейросети - это модели, которые считаются не на серверах OpenAI или Google, а прямо на вашем компьютере: программу и веса модели скачиваете один раз, а дальше каждый запрос обрабатывается на месте, без интернета и без чужого сервера, который видит содержимое переписки. Для одних это вопрос конфиденциальности - рабочие документы и черновики никуда не отправляются. Для других - способ не зависеть от того, доступен ли зарубежный сервис из России именно сегодня.

Запустить локальную нейросеть можно почти на любом современном ноутбуке: для текстовых моделей хватает 16 гигабайт оперативной памяти и обычного процессора, хотя видеокарта заметно ускоряет дело, а для генерации картинок она уже обязательна. Если возиться с установкой не хочется, проще взять готовый бесплатный сервис в браузере - подборка таких вариантов есть в материале Бесплатные нейросети: что реально работает без оплаты и VPN. Но если важна независимость от чужих серверов, вот с чего стоит начать.

Ollama

Ollama - утилита для запуска больших языковых моделей через командную строку, доступна для Windows, macOS и Linux. Ставите программу, дальше одной командой вроде "ollama run llama3" скачиваете и запускаете модель - Ollama сама подбирает под ваше железо подходящую по размеру квантованную версию. После скачивания весов работает полностью офлайн, VPN для самой работы не нужен. Интерфейса как такового нет, только терминал: привычного окна чата в комплекте не идёт, зато поверх Ollama работает множество сторонних оболочек с человеческим видом. Модели, которые через неё запускают, понимают русский язык и отвечают на нём, качество зависит от конкретной модели, а не от Ollama. Программа бесплатна и открыта, тарифов нет: единственный предел - объём памяти компьютера, от которого зависит, модель какого размера потянет система.

LM Studio

LM Studio - desktop-приложение с графическим интерфейсом и встроенным поиском моделей на Hugging Face прямо из окна программы. Скачали модель, открыли чат - и разговариваете с ней примерно как с ChatGPT, только офлайн. Отдельно полезная функция - локальный сервер: LM Studio поднимает точку доступа, совместимую с API OpenAI, и к ней можно подключить сторонние приложения, которые обычно работают с облачным чат-ботом. На момент публикации сайт и загрузка моделей открываются без VPN. Интерфейс английский, но с русским текстом модели работают нормально. Учтите: модели такого размера, который помещается в память обычного ноутбука, ощутимо уступают топовым облачным моделям вроде Gemini в сложных рассуждениях и работе с длинным текстом - для черновика письма или помощи с кодом хватает, для разбора большого документа может не хватить. Программа бесплатна для личного использования.

GPT4All

GPT4All от компании Nomic AI - вариант для тех, кому не хочется разбираться в квантовании и форматах файлов моделей. Установили, выбрали модель из встроенного каталога, дальше приложение всё скачивает и настраивает само. Каталог на момент публикации открывается без VPN. Есть функция LocalDocs: можно скормить программе папку с документами, и она будет отвечать на вопросы по их содержимому, тоже целиком локально. Из плюсов - работает даже на слабых машинах без видеокарты, хоть и медленнее. Из минусов - выбор моделей в каталоге беднее, чем если качать веса вручную. С русским языком модели справляются постольку-поскольку, лучше всего с ним работают более крупные модели, а именно они на слабом железе и не потянут. Бесплатно, открытый код, платной версии нет.

Jan

Jan - открытый чат-клиент, который по виду и логике похож на ChatGPT, только всё считается на вашем компьютере. Разработчики прямо называют его приватной заменой облачным чат-ботам: история переписки хранится локально и никуда не уходит. Поддерживает расширения - например, можно подключить облачную модель через свой API-ключ, если захочется сравнить её ответ с локальным. Доступен без VPN, для Windows, macOS и Linux, бесплатен. Из русскоязычных пользователей его, вероятнее всего, оценят те, кто уже привык к ChatGPT и хочет похожий опыт без подписки и без данных, утекающих на сторону.

AnythingLLM

AnythingLLM решает другую задачу - не поболтать с моделью, а превратить свои документы в базу знаний, по которой можно задавать вопросы. Загружаете PDF, заметки, таблицы - программа режет их на фрагменты и подбирает подходящий контекст под каждый вопрос. Модель для ответов можно взять локальную, через Ollama или LM Studio, тогда вся цепочка от вопроса до ответа остаётся на компьютере, VPN для этого не требуется. Если же наоборот нужен живой поиск по свежим страницам интернета, а не по своим файлам, для этого больше подходят сервисы вроде Perplexity - там ответ строится на актуальном поиске, а не на архиве на диске. Десктопная версия для одного человека бесплатна, для командной работы есть вариант с развёртыванием на своём сервере через Docker, там уже возможны платные опции.

Msty

Msty - чат-приложение, которое одинаково легко подключает локальные модели и облачные API вроде ChatGPT или Claude, так что ответы можно сравнивать в одном окне. Из полезного - разветвлённые диалоги: можно вернуться к любому сообщению и продолжить разговор в другую сторону, не теряя исходную ветку. Для локальной части используется движок наподобие Ollama, модели скачиваются один раз и дальше работают офлайн, доступно без VPN. Базовая версия для личного использования бесплатна, часть функций для команд и синхронизации между устройствами платная. Интерфейс английский, с русским текстом локальные модели справляются так же, как и в любой другой программе из этой подборки - вопрос выбора модели, а не оболочки.

KoboldCpp

KoboldCpp вырос из сообщества, которое пишет с нейросетями истории и ролевые диалоги, и заточен именно под это: длинный связный текст, персонажи с прописанным характером, память о происходящем по ходу истории. Технически это один исполняемый файл, который запускает модели в формате GGUF и поднимает интерфейс прямо в браузере, устанавливать почти нечего, доступ без VPN. Подойдёт тем, кому надоели ограничения облачных чат-ботов на фантазийный или спорный контент: локальная модель отвечает без модерации на стороне сервера, потому что самого сервера в привычном смысле просто нет. Качество русского текста сильно зависит от выбранной модели - многие модели для ролевых игр обучены в основном на английском и на русском звучат заметно суше. Бесплатен, открытый код.

Oobabooga

Text Generation Web UI, в обиходе - oobabooga, по нику автора, рассчитан на тех, кто хочет управлять генерацией на уровне отдельных параметров: температура, top-p, штраф за повторы и ещё десяток настроек, которые в других программах обычно спрятаны от глаз. Поддерживает разные форматы моделей и движки, умеет дообучение через LoRA для тех, кто хочет подстроить модель под свой стиль текста. Плата за гибкость - установка и настройка сложнее, чем в LM Studio или GPT4All, новичку придётся разбираться в терминологии. Бесплатен, открытый код, доступен без VPN, есть готовые сборки под Windows.

Automatic1111 и ComfyUI

Если нужны не тексты, а картинки, локальный путь - это Stable Diffusion, запущенный через один из двух популярных интерфейсов. Automatic1111 - классический веб-интерфейс с понятными полями и ползунками, ComfyUI - визуальный редактор из соединённых узлов, гибче, но сложнее для новичка. Оба бесплатны и открыты, модели скачиваются отдельно с Hugging Face или Civitai, на момент публикации без VPN. Здесь видеокарта уже не опция, а необходимость - без неё одна картинка будет генерироваться минуты вместо секунд. Взамен вы получаете то, чего нет у облачных генераторов: полный контроль над моделью и результат без привязки к тарифу или лимиту генераций в сутки. Промпты на русском многие модели просто не понимают или понимают криво, привычнее и надёжнее описывать картинку на английском.

Whisper через faster-whisper

Модель распознавания речи Whisper, которую OpenAI выложила в открытый доступ, можно запускать локально через обёртки вроде faster-whisper или whisper.cpp - это уже не чат, а расшифровка аудио и видео в текст прямо на компьютере, без загрузки записи на чужой сервер, без VPN. Пригодится, если нужно расшифровать созвон, лекцию или интервью, а содержимое чувствительное. Русскую речь модель распознаёт заметно хуже английской, но для рабочей задачи - получить черновик текста, который потом останется поправить руками, - обычно достаточно. У модели несколько размеров: маленькие работают быстро даже на процессоре, крупные точнее, но требуют видеокарты и терпения.

Кому что подойдёт

Если вы не боитесь терминала и планируете потом подключать модель к своим скриптам, начните с Ollama - она встроена почти во все остальные инструменты этой подборки как движок под капотом. Тем, кому важен привычный вид чата и минимум настроек, ближе LM Studio или GPT4All. Jan подойдёт тем, кто хочет заменить именно привычку писать в ChatGPT, а не изучать новый интерфейс с нуля. Если задача - искать ответы по своим документам, а не болтать ни о чём, берите AnythingLLM, а Msty пригодится, если хочется сравнивать локальные и облачные ответы в одном окне. Любителям историй и ролевых диалогов подойдёт KoboldCpp, тем, кто хочет крутить параметры генерации вручную - Oobabooga. Для картинок без ограничений облачных сервисов - Automatic1111 или ComfyUI, для расшифровки записей - faster-whisper.

Ставить всё подряд не стоит: выберите одну программу под конкретную задачу, а к остальным возвращайтесь, только если первая не подошла. Другие обзоры нейросетей и сервисов выходят в разделе архив рубрики на Нейроленте, а для локальных программ общее правило одно: чем больше оперативной памяти и чем мощнее видеокарта, тем шире выбор моделей и тем быстрее они отвечают - апгрейд памяти окупается быстрее, чем кажется на старте.