Riffusion створює музику за допомогою штучного інтелекту

Проект Riffusion за допомогою штучного інтелекту створює музику за запитом. Для цього він використовує зображення реальних пісень.

Про це повідомляє ain.ua.

Riffusion створює музику на основі зображення, а не прямого запиту, як це роблять інші технології. Це — дивний і складний для розуміння спосіб, але він працює.

Для роботи Riffusion використовує спектограми. Це — візуальне представлення аудіо, яке показує амплітуду різних частот у часі.

На вигляд спектрограма дещо нагадує ландшафт з пагорбами та долинами. Так виглядає карта гучності кожної частоти аудіо.

Якщо «пагорб» розташований ліворуч, це означає, що низькі частоти, тобто бас, звучить гучніше. Якщо праворуч — високі частоти, на яких часто звучить мелодія.