單張肖像照片 + 語音音頻 = 實時生成的超現(xiàn)實說話臉部視頻，具有精確的唇音同步、逼真的面部行為和自然的頭部運動。VASA-1是微軟亞洲研究院開發(fā)的一種前沿人工智能技術(shù)，它能夠?qū)我混o態(tài)圖像和一段語音音頻轉(zhuǎn)換成逼真的對話面部動畫。這項技術(shù)通過精確的音頻與唇部動作同步以及捕捉大量面部細微表情和自然頭部動作，實現(xiàn)了生成具有豐富表情和動態(tài)面部表情的視頻。

VASA-1能夠?qū)螐堨o態(tài)圖片與音頻文件結(jié)合，生成具有動態(tài)面部表情和頭部動作的視頻，使圖片中的人物仿佛“活”了起來。此技術(shù)不僅可以使用ai生成的人像圖片，也可以使用真實的照片，例如美國總統(tǒng)的形象，使其動起來并說話。

VASA-1主要功能特征：

• 逼真的唇音同步：VASA-1能夠生成與輸入語音音頻精確同步的唇部動作，提供高度逼真的說話效果。

• 解耦能力：VASA-1具有獨立控制嘴唇運動、表情、眼睛注視方向等面部動態(tài)特征的能力。

• 安全與監(jiān)控：VASA-1技術(shù)還可以應用于安全與監(jiān)控領(lǐng)域。

• 面部潛在空間構(gòu)建：通過構(gòu)建一個面部潛在空間來生成動態(tài)的面部表情和頭部動作。

• 高圖像生成質(zhì)量和高效的運行速度：VASA-1實現(xiàn)了逼真逼真的實時說話人臉，具有高圖像生成質(zhì)量和高效的運行速度。

• 3D技術(shù)輔助標記人臉面部特征：微軟還利用3D技術(shù)輔助標記人臉面部特征，并設(shè)計了額外的損失函數(shù)，這使得VASA-1不僅能夠生成高品質(zhì)的面部視頻，還能有效地捕捉和重現(xiàn)面部3D結(jié)構(gòu)。

VASA-1技術(shù)通過其先進的深度學習架構(gòu)和多種尖端技術(shù)的應用，實現(xiàn)了高度逼真的音頻驅(qū)動的對話面部動畫，包括但不限于唇音同步、豐富的面部表情、解耦能力、安全與監(jiān)控應用、高圖像生成質(zhì)量和高效的運行速度，以及有效的面部3D結(jié)構(gòu)捕捉和重現(xiàn)。

VASA-1是一個創(chuàng)新的AI工具，它通過結(jié)合靜態(tài)圖像或繪畫與音頻文件，最終生成逼真的視頻，這一過程幾乎沒有人工痕跡，使得生成的視頻看起來非常自然。盡管研究人員承認，與所有其他模型一樣，VASA-1目前還無法妥善處理頭發(fā)等非剛性元素，但其整體效果要比其他同類模型更為優(yōu)秀。

VASA-1的強大能力也帶來了潛在的風險，尤其是它可能被濫用于創(chuàng)建深度偽造視頻，這些視頻可以逼真地模仿真實人物，讓人難以分辨真?zhèn)?。微軟亞洲研究院在發(fā)布VASA-1之前已經(jīng)采取了謹慎的態(tài)度，他們并未公開任何在線演示、API、產(chǎn)品或相關(guān)實施細節(jié)，以確保技術(shù)不會被濫用，并且正在積極研究如何防止不良行為者利用VASA-1進行不正當活動。