Россиянам объяснили, как делаются ИИ-треки с голосами известных исполнителей

Председатель совета по противодействию технологическим правонарушениям КС НСБ России Игорь Бедеров рассказал RT, как с помощью ИИ создали трек «Седая ночь» с голосом Канье Уэста.

«Если отбросить магию, процесс создания таких треков — это кропотливая работа нейросети с аудиосигналами.

В основе их лежат технологии клонирования голоса. Так, автор собирает «сырьё» — десятки минут чистого вокала или речи Канье без посторонних шумов. Нейросеть нарезает записи на микро-фрагменты, анализируя тембр, высоту тона и даже особенности произношения. Эти данные превращаются в цифровой слепок голоса — базу данных, где каждый звук разложен по полочкам», — объяснил специалист.

Затем берётся оригинальная запись песни и так же дробится на куски.

«Модель заменяет исходные звуки наиболее подходящими по параметрам «цифровыми кирпичиками» голоса Канье из базы. На выходе получается сухой цифровой вокал. Чтобы создать эффект живого концерта, автор накладывает поверх него шум стадиона, реверберацию, добавляет «воздух» зала», — добавил собеседник RT.

Он также уточнил, что с каждым годом распознавать творении ИИ всё сложнее, но «признаки искусственности» всё ещё остаются.

«Условно их можно разделить на два уровня: для обычного слушателя и для технического анализа. Современные ИИ-голоса почти неотличимы от реальных, особенно на фоне шума и на непродолжительных фрагментах. Тем не менее, обращайте внимание на такие параметры, как эмоциональная пустота, странные артефакты (неестественное дыхание, шипение), а также чрезмерная идеальность записи», — посоветовал киберэксперт.

Специалист заявил, что на данном этапе развития технологий разница между реальностью и подделкой стирается для 99% пользователей.

«Shazam, который ищет по цифровому отпечатку звука, вообще «все равно», кто поёт, если совпадают частоты, — отсюда и первое место в чартах. Мы вступаем в эпоху, где верить придётся не ушам, а криптографической подписи автора и водяным знакам на контенте», — заключил Бедеров.

Ранее стало известно, что вирусный ИИ-трек «Седая ночь» с голосом Канье Уэста возглавил мировой рейтинг Shazam.