MidReal AI更新Beta版本
@Lightning AI创始人William Falcon
依赖于预训练大语言模型:DeWave在实现脑电波到文本的转换过程中使用了预训练大语言模型,如BART。
没有“123,上链接”的娴熟,反而是连直播间都忘记关的笨拙;没有精致的直播间布景,有的只是厂房内忙碌的工人、连轴转的机器……但在700多万网友看来,这些或许不够专业高大上,但却是真诚、朴实国货的最好写照。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。