瞄准 Google 的 MusicLM 而来?Meta 开源自家文字转音乐 AI MusicGen
Meta 先前发布并开源了自家的音乐生成 AI MusicGen。这个工具可以将文字描述转为约 12 秒的音频,也可以依照参考的音频来进行调整,会生成符合文字描述和参考音乐的旋律。
MusicGen 是基於 Transformer 模型开发的,音频资料则是藉由 Meta 的 EnCodec 音频tokenizer 分割成较小的部分,可以如同大型语言模型可以预测出音乐的下一个片段。
MusicGen 是藉 2 万小时的音乐数据进行训练,其中包括 1 万首授权音乐曲目,以及来自ShutterStock 和 Pond5 的 39 万首仅有乐器的歌曲。
经外媒《TechCrunch》实测,当下简单的指令时,MusicGen 生成的歌曲是具旋律的,生成结果与 Google 的音乐生成 AI MusicLM 结果相当。
利用生成式 AI 集结既有歌曲元素自制成新音乐的风气愈来愈盛,像是先前藉由歌手 Drake 和 The Weeknd …