Mamba: архитектура без внимания, которая бросила вызов трансформерам
Исследователи Альберт Гу и Три Дао представили архитектуру Mamba, полностью отказавшись от механизма внимания - основы современных LLM. Модель показала высокую скорость обработки длинных последовательностей при меньшем потреблении памяти.
В декабре 2023 года научная статья о модели Mamba вызвала дискуссию о возможных альтернативах архитектуре трансформеров. Вместо механизма внимания, который является основой для таких моделей, как GPT, Mamba использует селективные пространства состояний. Этот подход позволяет эффективнее работать с длинными последовательностями данных.
Главное различие заключается в вычислительной сложности. Self-attention в трансформерах требует попарного сравнения элементов, что приводит к квадратичному росту затрат с увеличением длины контекста. Архитектура Mamba, основанная на State Space Models (SSM), демонстрирует линейную сложность. Это достигается за счет использования дифференциальных уравнений и селективного управления информацией в скрытом состоянии модели. На практике это означает, что Mamba может обрабатывать длинные тексты значительно быстрее и с меньшим потреблением памяти, чем классический трансформер, что открывает возможности для работы с контекстами в сотни тысяч токенов.
Хотя трансформеры остаются доминирующей архитектурой, Mamba представляет собой рабочую и перспективную альтернативу. Ее начали применять не только для обработки текста, но и в других областях, таких как анализ аудиосигналов, геномика и работа с временными рядами. Научное сообщество активно исследует гибридные подходы, комбинируя принципы Mamba с отдельными элементами трансформеров, и создает на ее основе новые языковые модели. Вероятно, будущее развитие лежит не в полной замене одной архитектуры другой, а в их синтезе и адаптации под конкретные задачи.
Для индустрии появление таких альтернатив означает движение к более эффективным и масштабируемым решениям. Повышенная эффективность Mamba при работе с длинными контекстами потенциально может снизить вычислительные затраты на обучение моделей и их последующее использование, что важно для проектов с ограниченными ресурсами. Это дает разработчикам новый инструмент для анализа объемных документов, длинных видео- или аудиопотоков. Конкуренция между разными архитектурными подходами стимулирует инновации и ведет к созданию более мощных и специализированных моделей. Mamba наглядно показала, что развитие больших языковых моделей не замыкается на эволюции трансформеров, и открыла новое, плодотворное направление для исследований в области машинного обучения.
