單張肖像照片 + 語音音頻 = 實時生成的超現(xiàn)實說話臉部視頻，具有精確的唇音同步、逼真的面部行為和自然的頭部運動。VASA-1是微軟亞洲研究院開發(fā)的一種前沿人工智能技術(shù)，它能夠?qū)我混o態(tài)圖像和一段語音音頻轉(zhuǎn)換成逼真的對話面部動畫。這項技術(shù)通過精確的音頻與唇部動作同步以及捕捉大量面部細(xì)微表情和自然頭部動作，實現(xiàn)了生成具有豐富表情和動態(tài)面部表情的視頻。

VASA-1能夠?qū)螐堨o態(tài)圖片與音頻文件結(jié)合，生成具有動態(tài)面部表情和頭部動作的視頻，使圖片中的人物仿佛“活”了起來。此技術(shù)不僅可以使用ai生成的人像圖片，也可以使用真實的照片，例如美國總統(tǒng)的形象，使其動起來并說話。

VASA-1主要功能特征：

• 逼真的唇音同步：VASA-1能夠生成與輸入語音音頻精確同步的唇部動作，提供高度逼真的說話效果。

• 解耦能力：VASA-1具有獨立控制嘴唇運動、表情、眼睛注視方向等面部動態(tài)特征的能力。

• 安全與監(jiān)控：VASA-1技術(shù)還可以應(yīng)用于安全與監(jiān)控領(lǐng)域。

• 面部潛在空間構(gòu)建：通過構(gòu)建一個面部潛在空間來生成動態(tài)的面部表情和頭部動作。

• 高圖像生成質(zhì)量和高效的運行速度：VASA-1實現(xiàn)了逼真逼真的實時說話人臉，具有高圖像生成質(zhì)量和高效的運行速度。

• 3D技術(shù)輔助標(biāo)記人臉面部特征：微軟還利用3D技術(shù)輔助標(biāo)記人臉面部特征，并設(shè)計了額外的損失函數(shù)，這使得VASA-1不僅能夠生成高品質(zhì)的面部視頻，還能有效地捕捉和重現(xiàn)面部3D結(jié)構(gòu)。

VASA-1技術(shù)通過其先進(jìn)的深度學(xué)習(xí)架構(gòu)和多種尖端技術(shù)的應(yīng)用，實現(xiàn)了高度逼真的音頻驅(qū)動的對話面部動畫，包括但不限于唇音同步、豐富的面部表情、解耦能力、安全與監(jiān)控應(yīng)用、高圖像生成質(zhì)量和高效的運行速度，以及有效的面部3D結(jié)構(gòu)捕捉和重現(xiàn)。

VASA-1是一個創(chuàng)新的AI工具，它通過結(jié)合靜態(tài)圖像或繪畫與音頻文件，最終生成逼真的視頻，這一過程幾乎沒有人工痕跡，使得生成的視頻看起來非常自然。盡管研究人員承認(rèn)，與所有其他模型一樣，VASA-1目前還無法妥善處理頭發(fā)等非剛性元素，但其整體效果要比其他同類模型更為優(yōu)秀。

VASA-1的強(qiáng)大能力也帶來了潛在的風(fēng)險，尤其是它可能被濫用于創(chuàng)建深度偽造視頻，這些視頻可以逼真地模仿真實人物，讓人難以分辨真?zhèn)巍Ｎ④泚喼扪芯吭涸诎l(fā)布VASA-1之前已經(jīng)采取了謹(jǐn)慎的態(tài)度，他們并未公開任何在線演示、API、產(chǎn)品或相關(guān)實施細(xì)節(jié)，以確保技術(shù)不會被濫用，并且正在積極研究如何防止不良行為者利用VASA-1進(jìn)行不正當(dāng)活動。