Новости ИИ

Как искусственный интеллект поет песни?

Екатерина, Челябинск 485 просм.

Слышала треки, которые целиком сочинил и спел ИИ - и звучит очень похоже на живого исполнителя. Как это вообще работает, нейросеть правда генерирует голос сама или где-то есть запись настоящего человека?

Сергей Орлов специалист по ИИ-безопасности

ответил

эксперт

Модель для музыки, например Suno или Udio, генерирует не запись живого голоса, а звуковую волну целиком, с нуля, по описанию жанра, настроения и словам песни. Работает это похоже на то, как языковая модель предсказывает следующее слово: только здесь модель предсказывает следующий фрагмент звука, обученная на миллионах реальных треков с вокалом, инструментами и структурой куплет-припев.

Отдельная технология — клонирование конкретного голоса. Достаточно нескольких минут чистой записи человека, чтобы модель voice cloning научилась воспроизводить его тембр, манеру и интонации и «спеть» ими любой текст. Именно так делают фейковые треки от имени известных исполнителей, которые они никогда не записывали.

Как специалист по безопасности отмечу: это та же технология, что стоит за голосовыми дипфейками в мошеннических звонках — злоумышленник берет короткий образец голоса из соцсетей или ролика и синтезирует фразу вроде «срочно нужны деньги» голосом родственника. Если слышите знакомый голос в неожиданном контексте, особенно с просьбой о деньгах, стоит перезвонить человеку напрямую и переспросить, а не доверять самому звуку.

С музыкальными сервисами ситуация мягче: там правообладатель обычно дает согласие или сервис использует общую модель без привязки к конкретному певцу. Но юридический статус треков, которые копируют голос знаменитости без разрешения, до сих пор спорный почти во всех странах, включая Россию.

Задать свой вопрос

Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.

Похожие вопросы

Все в теме