腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。
M2UGen演示地址：https://huggingface.co/M2UGen
M2UGen项目地址：https://github.com/shansongliu/M2UGen
M2UGen论文地址：https://arxiv.org/abs/2311.11255
M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。 该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。
音乐的产生和理解
我们介绍M2UGen框架，能够同时 包括音乐理解和多模态音乐生成任务， 旨在协助用户进行与音乐相关的艺术创作。
面向音乐的数据集
我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。
我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。
除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。
收录说明：
1、本网页并非 M2UGen 官网网址页面，此页面内容编录于互联网，只作展示之用；2、如果有与 M2UGen 相关业务事宜，请访问其网站并获取联系方式；3、本站与 M2UGen 无任何关系，对于 M2UGen 网站中的信息，请用户谨慎辨识其真伪。4、本站收录 M2UGen 时，此站内容访问正常，如遇跳转非法网站，有可能此网站被非法入侵或者已更换新网址，导致旧网址被非法使用,5、如果你是网站站长或者负责人，不想被收录请邮件删除：i-hu#Foxmail.com （#换@）
