騰訊發(fā)布多模態(tài)音樂生成模型M2UGen 支持圖片、視頻生成音樂，M2UGen是一款引領(lǐng)潮流的框架，融合了音樂理解和多模態(tài)音樂生成任務(wù)，旨在助力用戶進(jìn)行音樂藝術(shù)創(chuàng)作。通過其強(qiáng)大的功能，M2UGen提供了全方位的音樂生成和編輯體驗(yàn)。

M2UGen演示地址：https://huggingface.co/M2UGen

M2UGen項(xiàng)目地址：https://github.com/shansongliu/M2UGen

M2UGen論文地址：https://arxiv.org/abs/2311.11255

M型2UGen模型是一種音樂理解和生成模型，能夠從文本，圖像，視頻和音頻中進(jìn)行音樂問答和音樂生成，以及音樂編輯。 該模型利用編碼器，如用于音樂理解的 MERT、用于圖像理解的 ViT 和用于視頻理解的 ViViT，以及 MusicGen/AudioLDM2 模型作為音樂生成模型（音樂解碼器），以及適配器和 LLaMA 2 模型。

音樂的產(chǎn)生和理解

我們介紹M2UGen框架，能夠同時(shí) 包括音樂理解和多模態(tài)音樂生成任務(wù)， 旨在協(xié)助用戶進(jìn)行與音樂相關(guān)的藝術(shù)創(chuàng)作。

面向音樂的數(shù)據(jù)集

我們提出了一種系統(tǒng)化的方法，用于生成大面向多模態(tài)音樂的指令數(shù)據(jù)集，我們使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型來生成面向音樂的數(shù)據(jù)集。

我們還利用BLIP圖像字幕模型和VideoMAE字幕模型來為各自的模態(tài)添加字幕。

除了可以從文字生成音樂外，它還支持圖像、視頻和音頻生成音樂，并且還可以編輯已有的音樂。該項(xiàng)目利用了MERT等編碼器進(jìn)行音樂理解，ViT進(jìn)行圖像理解，ViViT進(jìn)行視頻理解，并使用MusicGen/AudioLDM2模型作為音樂生成模型（音樂解碼器）。用戶可以輕松移除或替換特定樂器，調(diào)整音樂的節(jié)奏和速度。這使得用戶能夠創(chuàng)造出符合其獨(dú)特創(chuàng)意的音樂作品。

此外，M2UGen還加入了適配器和LLaMA2模型，使得該模型具備多種能力。