MultiTalk 是美團(tuán)視覺(jué)智能團(tuán)隊(duì)開(kāi)源的音頻驅(qū)動(dòng)多人對(duì)話視頻生成工具。它能根據(jù)多人音頻、參考圖像和文字提示，生成口型同步、肢體自然的數(shù)字人對(duì)話視頻，效果很好。用戶只需上傳音頻、參考圖和提示詞，就能生成嘴型匹配的對(duì)話視頻，還能生成歌唱場(chǎng)景和卡通角色。

這個(gè)項(xiàng)目有不少實(shí)用特點(diǎn)：音頻驅(qū)動(dòng)的嘴型同步很精準(zhǔn)，能用提示詞控制虛擬角色動(dòng)作，能輸出不同分辨率的視頻，還能生成長(zhǎng)達(dá) 15 秒的對(duì)話場(chǎng)景。另外，它集成了文本轉(zhuǎn)語(yǔ)音功能，做了多項(xiàng)優(yōu)化來(lái)提高生成效率，支持低顯存模式和多 GPU 推理，在單張 RTX 4090 顯卡上就能運(yùn)行。

功能特征

?音頻驅(qū)動(dòng)：輸入多人音頻，就能生成自然的口型同步和肢體動(dòng)作

?單張照片輸入：僅用一張參考圖像，就能生成多人互動(dòng)視頻

?復(fù)雜動(dòng)作遵循：支持復(fù)雜文字提示，生成符合描述的動(dòng)作和場(chǎng)景

?多語(yǔ)言支持：能處理多語(yǔ)言音頻，實(shí)現(xiàn)精準(zhǔn)的唇部同步

?長(zhǎng)視頻生成：用自回歸方法生成連貫的長(zhǎng)視頻

?高效訓(xùn)練策略：通過(guò)兩階段訓(xùn)練、部分參數(shù)訓(xùn)練和多任務(wù)訓(xùn)練，提升模型性能

?L-RoPE 技術(shù)：借助標(biāo)簽旋轉(zhuǎn)位置編碼，實(shí)現(xiàn)多流音頻與人物的精準(zhǔn)綁定

?高質(zhì)量輸出：生成的視頻自然流暢，視覺(jué)上幾乎沒(méi)有偽影

技術(shù)亮點(diǎn)

?首創(chuàng) L-RoPE 技術(shù)：用標(biāo)簽旋轉(zhuǎn)位置編碼解決多音頻流與人物錯(cuò)位問(wèn)題，讓音頻和人物精準(zhǔn)對(duì)應(yīng)

?音頻驅(qū)動(dòng)視頻生成：輸入多人音頻、參考圖像和文字提示，就能生成口型同步、肢體自然的交互視頻

?局部參數(shù)訓(xùn)練 + 多任務(wù)學(xué)習(xí)策略：在保留復(fù)雜動(dòng)作指令跟隨能力的同時(shí)，實(shí)現(xiàn)動(dòng)態(tài)人物的自適應(yīng)定位

?多場(chǎng)景支持：可用于影視制作、直播電商等多種場(chǎng)景

技術(shù)框架

?基礎(chǔ)模型結(jié)構(gòu)：以 DiT 視頻擴(kuò)散模型為核心，集成 3D 變分自編碼器，高效處理視頻數(shù)據(jù)

?單人音頻集成：在每個(gè) DiT 塊的文本交叉注意力層后添加音頻交叉注意力機(jī)制，用 Wav2Vec 提取音頻特征，通過(guò)音頻適配器解決視頻和音頻時(shí)間粒度不匹配的問(wèn)題

?多人音頻處理：靠 L-RoPE 技術(shù)實(shí)現(xiàn)多流音頻與多個(gè)人物的精準(zhǔn)綁定，避免 “齊聲說(shuō)話”

訓(xùn)練策略：

?兩階段訓(xùn)練：先練單人視頻生成能力，再練多人物交互和綁定

?部分參數(shù)訓(xùn)練：只更新音頻交叉注意力層和音頻適配器的網(wǎng)絡(luò)參數(shù)，凍結(jié)其他基礎(chǔ)模型參數(shù)

?多任務(wù)訓(xùn)練：結(jié)合音頻 + 圖像到視頻、圖像到視頻兩種訓(xùn)練方式，增強(qiáng)模型的指令遵循能力

性能表現(xiàn)

?定量評(píng)估：在頭部和身體動(dòng)作生成任務(wù)中，和多個(gè)先進(jìn)方法相比，在唇形同步（Sync-C、Sync-D）和視頻質(zhì)量（FID、FVD）上表現(xiàn)突出

?定性評(píng)估：處理復(fù)雜交互場(chǎng)景時(shí)效果好，能生成精準(zhǔn)響應(yīng)復(fù)雜文字提示的視頻，視覺(jué)偽影少，畫(huà)面自然真實(shí)

?長(zhǎng)視頻生成：用自回歸方法，把之前生成視頻的末尾部分作為條件，生成新的視頻片段，保證時(shí)間上的連貫和擴(kuò)展

適用場(chǎng)景

• 影視制作：虛擬角色互動(dòng)、動(dòng)畫(huà)配音、特效合成、短片創(chuàng)作

• 直播電商：虛擬主播互動(dòng)、產(chǎn)品展示解說(shuō)、多語(yǔ)言直播

• 教育領(lǐng)域：虛擬教師互動(dòng)、語(yǔ)言學(xué)習(xí)、歷史重現(xiàn)

• 游戲開(kāi)發(fā)：虛擬角色對(duì)話、NPC 互動(dòng)、多人在線游戲

• 廣告營(yíng)銷(xiāo)：虛擬代言人、產(chǎn)品推廣、社交媒體廣告

• 虛擬社交：虛擬社交平臺(tái)互動(dòng)、虛擬會(huì)議

• 娛樂(lè)創(chuàng)意：音樂(lè)視頻、虛擬演唱會(huì)、創(chuàng)意短片

• 公共服務(wù)：新聞播報(bào)、公共服務(wù)宣傳

• 企業(yè)培訓(xùn)：虛擬培訓(xùn)場(chǎng)景、情景模擬

• 國(guó)際交流：多語(yǔ)言對(duì)話、文化交流

項(xiàng)目地址

項(xiàng)目主頁(yè)：https://meigen-ai.github.io/multi-talk/

開(kāi)源代碼：https://github.com/MeiGen-AI/MultiTalk

論文技術(shù)：https://arxiv.org/abs/2505.22647