在人工智能領(lǐng)域，從語(yǔ)音中創(chuàng)建準(zhǔn)確的面部唇部動(dòng)作一直是一個(gè)持續(xù)的挑戰(zhàn)。然而，突破已經(jīng)到來(lái)——Media2Face。

Media2Face是通過(guò)音頻、文本和圖像多模態(tài)引導(dǎo)的共語(yǔ)言面部動(dòng)畫(huà)生成工具。它利用音頻、文本和圖像輸入的引導(dǎo)來(lái)自然地模仿人類語(yǔ)言，引入了廣義神經(jīng)參數(shù)面部資產(chǎn) （GNPFA）。這是一種高效替在空間，從而解耦表情和身份。然后，我們利用GNPFA從大量視頻中提的變分自動(dòng)編碼器，可將面部幾何形狀和圖像映射到高度廣義的表情取高質(zhì)量的表情和準(zhǔn)確的頭部姿勢(shì)。

由于高質(zhì)量的 4D 面部數(shù)據(jù)有限，從語(yǔ)音合成 3D 面部動(dòng)畫(huà)面臨著挑戰(zhàn)。然而，借助 Media2Face，現(xiàn)在可以從任何音頻、圖像或文本輸入無(wú)縫生成逼真且富有表現(xiàn)力的面部動(dòng)畫(huà)。

Media2Face能夠根據(jù)聲音來(lái)生成與語(yǔ)音同步的、表現(xiàn)力豐富的3D面部動(dòng)畫(huà)。同時(shí)允許用戶對(duì)生成的面部動(dòng)畫(huà)進(jìn)行更細(xì)致的個(gè)性化調(diào)整，如情感調(diào)整，“快樂(lè)”或“悲傷”等。Media2Face還能理解多種類型的輸入信息（音頻、文本、圖像），并將這些信息作為生成面部動(dòng)畫(huà)的指引。

Media2Face實(shí)際應(yīng)用：

• 創(chuàng)造對(duì)話場(chǎng)景：根據(jù)你寫(xiě)的劇本，電腦可以生成人物對(duì)話的動(dòng)畫(huà)場(chǎng)景。

• 制作風(fēng)格化的面部動(dòng)畫(huà)：你可以給電腦一個(gè)表情符號(hào)，它就能根據(jù)這個(gè)符號(hào)創(chuàng)造出動(dòng)畫(huà)。

• 情感歌唱：電腦還能根據(jù)不同的語(yǔ)言唱歌，表現(xiàn)出對(duì)應(yīng)的情感。

• 個(gè)性化動(dòng)畫(huà)：最神奇的是，這個(gè)項(xiàng)目能夠創(chuàng)造出符合不同人種、年齡和性別的個(gè)性化面部動(dòng)畫(huà)。

• 影視制作公司使用Media2Face生成影片中虛擬人物的面部動(dòng)畫(huà)。

• 虛擬主持平臺(tái)利用Media2Face實(shí)現(xiàn)虛擬主持的面部表情生成。

• 游戲開(kāi)發(fā)公司在虛擬角色設(shè)計(jì)中應(yīng)用Media2Face進(jìn)行面部動(dòng)畫(huà)生成。

Media2Face是如何工作的？

Media2Face項(xiàng)目的工作原理涉及幾個(gè)關(guān)鍵技術(shù)和步驟，使其能夠從語(yǔ)音合成出具有豐富表情和情感的3D面部動(dòng)畫(huà)。下面是該項(xiàng)目的主要工作流程：

1. 通用神經(jīng)參數(shù)化面部資產(chǎn)（GNPFA）：

首先，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)特殊的工具（叫做GNPFA），它就像一個(gè)大型的面部表情數(shù)據(jù)庫(kù)。無(wú)論你想要什么樣的表情，這個(gè)工具都能幫你找到，并且還能確保每個(gè)人的面部動(dòng)畫(huà)都獨(dú)一無(wú)二，不會(huì)和別人混淆。

這個(gè)過(guò)程實(shí)現(xiàn)了表情和身份的解耦，即能夠在不同的身份之間轉(zhuǎn)換相同的表情。

然后，他們用這個(gè)工具處理了很多視頻，從中提取出了高質(zhì)量的表情和頭部動(dòng)作。這樣就創(chuàng)建了一個(gè)巨大的數(shù)據(jù)集，里面包含了各種各樣的面部動(dòng)畫(huà)和對(duì)應(yīng)的情感、風(fēng)格標(biāo)簽。

2. 多模態(tài)引導(dǎo)的動(dòng)畫(huà)生成：

Media2Face采用一個(gè)擴(kuò)散模型在GNPFA的潛在空間中進(jìn)行動(dòng)畫(huà)生成，這個(gè)模型能夠接受來(lái)自音頻、文本和圖像的多模態(tài)引導(dǎo)。

模型將音頻特征和CLIP潛在代碼作為條件，與表情潛在代碼序列的噪聲版本以及頭部運(yùn)動(dòng)代碼（即頭部姿勢(shì)）一起去噪。條件被隨機(jī)掩蔽，并通過(guò)與噪聲頭部運(yùn)動(dòng)代碼的交叉注意力進(jìn)行處理。

3. 表情和頭部姿勢(shì)生成：

利用GNPFA從大量視頻中提取高質(zhì)量的表情和準(zhǔn)確的頭部姿勢(shì)。這呈現(xiàn)了 M2F-D 數(shù)據(jù)集，這是一個(gè)大型、多樣化和掃描級(jí)別的共同語(yǔ)音3D面部動(dòng)畫(huà)數(shù)據(jù)集，具有注釋良好的情感和風(fēng)格標(biāo)簽。

4.表情和風(fēng)格微調(diào)：

通過(guò)表情編碼器提取關(guān)鍵幀表情潛在代碼，并通過(guò)CLIP提供每幀的風(fēng)格提示，如“快樂(lè)”或“悲傷”，用戶可以調(diào)整動(dòng)畫(huà)的強(qiáng)度和控制范圍。

通過(guò)以上這些技術(shù)步驟，Media2Face能夠生成與語(yǔ)音同步的、表現(xiàn)力豐富的3D面部動(dòng)畫(huà)，支持復(fù)雜的情感表達(dá)和風(fēng)格變化，為創(chuàng)建虛擬角色和增強(qiáng)AI數(shù)字人的交互體驗(yàn)提供了強(qiáng)大工具，大量實(shí)驗(yàn)表明，Media2Face不僅在面部動(dòng)畫(huà)合成中實(shí)現(xiàn)了高保真度，而且拓寬了3D面部動(dòng)畫(huà)的表現(xiàn)力和風(fēng)格適應(yīng)性。