Что такое большая языковая модель?

Большая языковая модель, или LLM — это нейросеть, которую обучили предсказывать следующее слово в тексте на основе огромного количества примеров: книг, статей, сайтов, кода. От обычной программы она отличается принципиально: в обычной программе разработчик прописывает правила заранее, если введено то-то, вывести то-то. В языковой модели таких правил нет, есть только миллиарды настраиваемых параметров, которые подстроились под закономерности языка во время обучения.

Слово «большая» в названии означает как раз объем этих параметров: у современных моделей их считают миллиардами, а у топовых систем счет идет на сотни миллиардов и больше. Чем больше параметров и качественнее данные для обучения, тем точнее модель улавливает смысл и контекст, но и тем больше ей нужно вычислительной мощности для работы.

Кстати, модель Qwen3-4B из новости, о которой вы спрашиваете, это как раз пример компактной модели: 4 миллиарда параметров против сотен миллиардов у больших коммерческих систем. Ее специально уменьшают, чтобы модель поместилась на обычный компьютер или даже телефон и работала без подключения к дата-центру, жертвуя частью качества ради доступности.

Работает такая модель всегда одинаково: получает текст, разбивает его на токены (кусочки слов) и на каждом шаге вычисляет, какое продолжение наиболее вероятно, опираясь на выученные при обучении закономерности. Она не хранит факты в виде базы данных и не понимает текст в человеческом смысле, именно поэтому такие модели иногда уверенно выдают неверную информацию, если статистически похожий на правду вариант оказался неточным.