Исследователи Альберт Гу и Три Дао представили архитектуру Mamba, полностью отказавшись от механизма внимания - основы современных LLM. Модель показала высокую скорость…
На Хабре опубликовано структурированное руководство, которое помогает систематизировать знания для прохождения технических интервью в области обработки естественного языка и больших языковых моделей.
Сердцем архитектуры Transformer, совершившей переворот в области искусственного интеллекта, оказалась не сложная биологическая модель, а базовая математическая операция - скалярное произведение векторов,…
Стартап Subquadratic вышел из скрытого режима с громким заявлением о решении ключевой математической проблемы, ограничивающей производительность больших языковых моделей.
