更可控的AI音乐生成工具——Sonauto

开心盖土 2024-04-14 02:40:16

昨天,AI音乐生成工具Sonauto.ai发布了他们的1.0版,相比Udio和Suno,它也许没有那么出色,但是Sonauto有更多的编辑功能,使得AI音乐生成更可控。

特点:

Sonauto可以将提示、歌词和旋律转换为任何风格的完整歌曲。它是潜在扩散模型而不是语言模型。一般的音乐生成模型通过训练矢量量化变分自动编码器(如描述音频编解码器(https://github.com/descriptinc/descript-audio-codec))来将音乐转换为标记,然后在这些标记上训练大语言模型来生成音乐。相反,Sonauto撕掉了标记化部分,并将其替换为正常的变分自动编码器瓶颈(variational autoencoder bottleneck)。并在一个很好的、正态分布的潜在空间来训练扩散变压器(类似于Sora)。Sonauto是第一个生成连贯歌词的音频扩散模型。

Sonauto拥有节奏控制模式,您可以上传自己的打击乐线或设置 BPM。还可以为上传的或之前生成的歌曲生成适当的变体(例如,您甚至可以唱一分钟语音备忘录并上传)。

使用方法:

用邮箱登录sonauto.ai,点制作一首歌Make a Song。

创建歌名

可以选择一个艺术家风格,输入框中输入艺术家名字,会出现搜索结果,例如“John Denver”,下面会出现自动提示,例如“约翰.丹佛的声音清晰的讲述了这个故事。乡村和经典摇滚元素在编曲中完美融合...”,或者自己输入提示,例如“a John Denver song about home”。

输入歌词

高级设置可以设置节奏控制强度,节拍数,或者直接上传参考歌曲。

点生成后,会生成一分35秒的3首歌

最后还可以对生成的歌曲再编辑,一是拆分。将歌曲拆分成单个乐器、人声、低音等。

二是扩展歌曲。

三是可以重新设置节奏控制。

来听两首看看效果

总的来说,Sonauto还是一个优秀的AI音乐生成模型。可惜的是它目前识别不了中文歌词,生成不了正确的中文发音的歌曲。

往期推荐

0 阅读:2

开心盖土

简介:感谢大家的关注