DreamTalk，一個(gè)由清華大學(xué)、阿里巴巴和華中科大共同開發(fā)的一個(gè)基于擴(kuò)散模型可以讓人物照片說話，支持包括歌曲、多種語言的語音、嘈雜的音頻在內(nèi)的各種聲音匹配讓人物頭像說話的框架。

DreamTalk演示地址：https://dreamtalk-project.github.io

DreamTalk項(xiàng)目地址：https://dreamtalk-project.github.io/

DreamTalk論文地址：https://arxiv.org/abs/2312.09767

DreamTalk使用場景：

• 使用 DreamTalk 生成具有多樣化語言和表情風(fēng)格的說話人臉

• 應(yīng)用 DreamTalk 在影視制作中實(shí)現(xiàn)逼真的虛擬角色表情動(dòng)作

• 使用 DreamTalk 在人機(jī)交互場景中實(shí)現(xiàn)自然的面部表情和嘴唇運(yùn)動(dòng)

DreamTalk功能：

具體來說，DreamTalk 由三個(gè)關(guān)鍵組件組成：降噪網(wǎng)絡(luò)、風(fēng)格感知唇部專家和風(fēng)格預(yù)測器。基于擴(kuò)散的降噪網(wǎng)絡(luò)能夠在不同的表情中一致地合成高質(zhì)量的音頻驅(qū)動(dòng)的面部運(yùn)動(dòng)。為了提高嘴唇動(dòng)作的表現(xiàn)力和準(zhǔn)確性，我們引入了一位具有風(fēng)格意識(shí)的嘴唇專家，可以在注意說話風(fēng)格的同時(shí)指導(dǎo)嘴唇同步。為了消除對(duì)表情參考視頻或文本的需求，使用額外的基于擴(kuò)散的樣式預(yù)測器直接從音頻中預(yù)測目標(biāo)表情。

1、去噪網(wǎng)絡(luò)：這是核心組件之一，負(fù)責(zé)生成音頻驅(qū)動(dòng)的面部動(dòng)作。去噪網(wǎng)絡(luò)使用擴(kuò)散模型來逐步去除噪聲，從而生成清晰、高質(zhì)量的面部表情。這個(gè)過程涉及從帶有噪聲的數(shù)據(jù)中逐步恢復(fù)出清晰的面部動(dòng)作。

2、風(fēng)格感知的嘴唇專家：這個(gè)組件專注于提高嘴唇動(dòng)作的表現(xiàn)力和準(zhǔn)確性。它通過分析說話風(fēng)格來引導(dǎo)嘴唇同步，確保生成的動(dòng)畫既自然又符合說話者的風(fēng)格。

3、風(fēng)格預(yù)測器：為了消除對(duì)表情參考視頻或文本的依賴，DreamTalk引入了一個(gè)基于擴(kuò)散的風(fēng)格預(yù)測器。這個(gè)預(yù)測器可以直接從音頻預(yù)測目標(biāo)表情，無需額外的表情參考視頻或文本。

4、音頻和視頻處理：處理音頻輸入，提取關(guān)鍵的音頻特征，并將這些特征用于驅(qū)動(dòng)面部動(dòng)畫。同時(shí)，它還能處理視頻輸入，以提取和模仿特定的表情和風(fēng)格。

5、數(shù)據(jù)和模型訓(xùn)練：為了實(shí)現(xiàn)這些功能，DreamTalk需要大量的數(shù)據(jù)來訓(xùn)練其模型，包括不同表情和說話風(fēng)格的面部動(dòng)畫數(shù)據(jù)。通過這些數(shù)據(jù)，模型學(xué)習(xí)如何準(zhǔn)確地生成與輸入音頻匹配的面部動(dòng)作。

DreamTalk可以利用強(qiáng)大的擴(kuò)散模型有效地生成富有表現(xiàn)力的面孔，并減少對(duì)昂貴的風(fēng)格參考的依賴。實(shí)驗(yàn)結(jié)果表明，DreamTalk能夠生成具有不同說話風(fēng)格的逼真的說話面孔，并實(shí)現(xiàn)準(zhǔn)確的嘴唇動(dòng)作，超越了現(xiàn)有的最先進(jìn)的同類產(chǎn)品。

DreamTalk不僅能夠處理和生成它在訓(xùn)練過程中見過的面部類型和表情，還能有效處理和生成它之前未見過的、來自不同數(shù)據(jù)集的面部類型和表情。

包括不同種族、年齡、性別的人物肖像，以及各種不同的表情和情緒。