Stability AI, la compañía conocida por el creador de arte impulsado por IA Stable Diffusion, ha introducido un nuevo modelo de IA de código abierto para generar sonidos y música. Este modelo, llamado Stable Audio Open, afirma estar entrenado únicamente con grabaciones libres de derechos.
Stable Audio Open crea audio basado en indicaciones de texto (por ejemplo, “ritmo de rock reproducido en un estudio tratado, sesión de batería en un kit acústico”), produciendo grabaciones de hasta 47 segundos de duración. El modelo se desarrolló utilizando aproximadamente 486.000 muestras de bases de datos de música gratuitas como FreeSound y Free Music Archive.
Según Stability AI, el modelo es versátil y puede generar ritmos de batería, riffs de instrumentos, sonidos ambientales y otros «elementos de producción» adecuados para vídeos, películas y programas de televisión. También puede modificar canciones existentes o aplicar el estilo de un género (por ejemplo, smooth jazz) a otra pieza.
«Una de las principales ventajas de este modelo de código abierto es que los usuarios pueden ajustarlo con sus propios datos de audio», afirmó Stability AI en una publicación de blog. «Por ejemplo, un baterista podría personalizarlo con sus propias muestras de batería para crear nuevos ritmos».
A pesar de sus capacidades, Stable Audio Open tiene limitaciones. No puede generar canciones, melodías o voces completas con un alto nivel. Stability AI señala que el modelo no está optimizado para estas tareas y recomienda su servicio premium Stable Audio para tales necesidades.
Además, Stable Audio Open tiene restringido el uso comercial, según sus términos de servicio. También muestra variaciones en el rendimiento entre diferentes estilos musicales e idiomas distintos del inglés, lo que refleja sesgos de los datos de entrenamiento.
«La fuente de datos puede carecer de diversidad, lo que lleva a una representación insuficiente de varias culturas», explicó Stability AI. «En consecuencia, los resultados del modelo exhibirán estos sesgos».
Estabilidad La IA ha enfrentado desafíos, incluida una controversia reciente tras la renuncia de su vicepresidente de audio generativo, Ed Newton-Rex, quien no estuvo de acuerdo con la opinión de la compañía de que el uso de obras protegidas por derechos de autor para entrenar modelos de IA es un “uso justo”. Stable Audio Open parece ser un esfuerzo por cambiar esta narrativa y promover las ofertas premium de Stability AI.
A medida que los generadores de música con IA como Stability AI crecen en popularidad, la cuestión del abuso de derechos de autor ha pasado a primer plano. En mayo, Sony Music, que representa a artistas como Billy Joel, Doja Cat y Lil Nas X, emitió advertencias a 700 empresas de inteligencia artificial contra el uso no autorizado de su contenido para entrenar generadores de audio. Además, en marzo, Tennessee promulgó la primera ley estadounidense destinada a frenar los abusos de la IA en la música.
Noticias de ChatGPTo por OpenAI