Нейросети

Tymbal: нейросинтезатор на одном чипе, вдохновлённый цикадой

Представлен Tymbal - нейросинтезатор на одном чипе, архитектура которого вдохновлена органом звукоизвлечения цикады. Устройство использует нелинейность обработанного сигнала-"учителя" для генерации звука с богатым тембром, при этом сама конструкция чипа остаётся неизменной при смене звукового характера.

Иллюстрация к новости: Tymbal: нейросинтезатор на одном чипе, вдохновлённый цикадой

Появился новый инструмент для синтеза звука - нейросинтезатор Tymbal. Это микрочип, архитектура которого скопирована с органа цикады (тимбала). Тот представляет собой ребристую мембрану, издающую щелчок за счет нелинейного выгибания. Принцип перенесли на чип: компактное устройство генерирует громкий звук с богатыми обертонами, используя одну нелинейность.

Характер звука задает учитель - предварительно обработанный сигнал, на котором обучают уточняющую нейросеть. Смена учителя полностью меняет выходной звук, хотя физический чип и его архитектура остаются прежними.

Проект разрабатывался под индексом N6. Название Tymbal выбрано не случайно. Оно родственно слову "тембр" (timbre). Оба восходят к греческому "tympanon" (барабан). В старофранцузском "timbre" означало барабан, позже - колокол, и лишь затем - окраску звука. Изначально инструмент хотели назвать "timbal", но для точности биологической аналогии заменили букву на "y" (как у цикады).

Архитектурно Tymbal - аппаратная реализация нейросетевого синтеза. Нейросеть переносит нелинейность сигнала-учителя на детерминированный скелет системы. Вся функциональность упакована в один чип. Это отличается от традиционного цифрового синтеза, где для смены тембра часто нужно менять схему или программу. Здесь интеллектуальная часть - обучаемый сигнал, а аппаратная база универсальна. Это путь к компактным и гибким синтезаторам, способным создавать новые тембры без смены железа.

Tymbal важен для нескольких областей. Для разработчиков аудио-ИИ это пример биомиметики, ведущей к эффективным аппаратным решениям. Принцип разделения универсальной архитектуры и изменяемого учителя можно применить в других задачах генеративного ИИ, например, в синтезе изображений. Для музыкантов и саунд-дизайнеров такие устройства могут предложить новые способы звукового дизайна с органичным характером, генерируемым на чипе в реальном времени.

Tymbal - часть тренда на специализированные нейроморфные чипы, оптимизированные под конкретные задачи. Вместо мощных универсальных GPU такая специализация позволяет добиться высокой эффективности и низкого энергопотребления в компактном форм-факторе. Это актуально для embedded-систем, носимой электроники и IoT-устройств. Развитие подобных аппаратных решений может снизить зависимость от больших вычислительных кластеров для некоторых задач ИИ, сделав генеративные технологии более доступными и автономными.

Вопросы читателей по теме

Все вопросы

Чем отличается нейросеть от искусственного интеллекта?

спрашивает Дмитрий, Уфа 54 просм.

Дмитрий Волков: Путаница объяснима, потому что термины действительно пересекаются, но по объёму понятий это не одно и то же. Искусственный интеллект - самое широкое понятие, оно означает вообще любую систему, которая имитирует интеллектуальное поведение: принимает решения, распознаёт образы, ведёт диалог. Под это определение подпадают и простые программы на жёстких правилах без единой нейросети внутри, и современные большие…

Как нейросеть создает изображение?

спрашивает Дмитрий, Оренбург 113 просм.

Дмитрий Волков: Большинство современных генераторов изображений - это диффузионные модели, и работают они на первый взгляд контринтуитивно: не рисуют картинку с нуля, а наоборот, учатся убирать шум. При обучении модели показывают реальное изображение, постепенно добавляют к нему случайный шум до тех пор, пока от исходной картинки не останется одна серая рябь, и просят модель на каждом шаге…

Какая нейросеть делает фото по описанию?

спрашивает Екатерина, Ульяновск 133 просм.

Сергей Орлов: Генераторов изображений по тексту сейчас несколько, и выбор зависит от того, что важнее - реалистичность, доступность без VPN или цена. Midjourney и DALL-E через ChatGPT Plus дают самую реалистичную картинку и хорошо понимают сложные описания, но обе платные и не всегда без ограничений доступны из России. Из отечественных сервисов Шедеврум от Яндекса и Kandinsky от…

Как нейросети помогают в повседневных задачах?

спрашивает Игорь, Уфа 223 просм.

Дмитрий Волков: Смотря что вы называете нейросетью. Строго говоря, это математическая модель, которая лежит в основе почти всех современных сервисов ИИ: от переводчиков и голосовых помощников до систем, которые советуют вам следующий фильм. В офисной работе от неё есть польза в трёх конкретных вещах, а не в абстрактных обещаниях. Во-первых, черновая обработка текста: свести длинное письмо в…