ChatAnyone 是什么？

ChatAnyone 是一個由阿里巴巴集團通義實驗室開發(fā)的實時風(fēng)格化肖像視頻生成框架，實現(xiàn)從“會說話的頭”到上半身互動的高保真動畫生成，支持多樣化的面部表情和風(fēng)格控制。適用于實時視頻聊天、虛擬主播、ai 助手等場景。

ChatAnyone 技術(shù)方法

高效分層運動擴散模型（Hierarchical Motion Diffusion Model）

• 輸入：音頻信號。

• 輸出：面部和身體的控制信號，考慮顯式和隱式的運動信號。

• 功能：生成多樣化的面部表情，并實現(xiàn)頭部與身體動作的同步。

• 細粒度表情控制：支持不同強度的表情變化，以及從參考視頻中轉(zhuǎn)移風(fēng)格化的表情。

混合控制融合生成模型（Hybrid Control Fusion Generative Model）

• 面部表情生成：結(jié)合顯式地標和隱式偏移量，生成逼真的面部表情。

• 手部動作控制：注入顯式的手部控制信號，生成更準確和逼真的手部動作。

• 面部優(yōu)化模塊：增強面部的逼真度，確保生成的肖像視頻具有高度的表達性和真實感。

可擴展的實時生成框架

• 靈活性：支持從頭部驅(qū)動的動畫到包含手勢的上半身生成。

• 實時性：在 4090 GPU 上，以最高 512×768 分辨率、30fps 的速度實時生成上半身肖像視頻。

ChatAnyone 實驗結(jié)果

• 音頻驅(qū)動的上半身動畫：生成具有高度表達性的上半身數(shù)字人視頻，支持有手和無手的場景。

• 音頻驅(qū)動的頭部動畫：實現(xiàn)高精度的口型同步，生成自然的頭部姿勢和豐富的面部表情。

• 音頻驅(qū)動的風(fēng)格化動畫：支持生成風(fēng)格化角色的動畫，同時適用于生成富有表現(xiàn)力的唱歌視頻。

• 雙主持 AI 播客演示：能夠生成雙主持播客，支持 AI 驅(qū)動的對話。

• 實時交互演示：在 4090 GPU 上實現(xiàn) 30fps 的實時生成，支持實際的交互式視頻聊天應(yīng)用。

ChatAnyone 優(yōu)勢

• 高保真度和自然度：生成的肖像視頻具有豐富的表情和自然的上半身動作。

• 實時性：支持實時交互，適用于視頻聊天等應(yīng)用場景。

• 風(fēng)格化控制：可以根據(jù)需求調(diào)整表情風(fēng)格，實現(xiàn)個性化的動畫生成。

ChatAnyone 的應(yīng)用場景

虛擬主播與視頻會議

• 虛擬主播用于新聞播報、直播帶貨。

• 視頻會議中提供虛擬形象，增強互動性。

內(nèi)容創(chuàng)作與娛樂

• 動畫制作：生成風(fēng)格化動畫角色。

• 虛擬演唱會：生成虛擬歌手或表演者的實時動畫。

• AI 播客：生成雙主持播客的虛擬形象。

教育與培訓(xùn)

• 在線教育：生成虛擬教師形象。

• 培訓(xùn)模擬：生成虛擬角色進行互動對話。

客戶服務(wù)

• 智能客服：生成虛擬客服形象。

• 客戶互動：提供生動的解答和互動。

營銷與廣告

• 虛擬代言人：生成品牌代言人形象。

• 廣告視頻：生成互動性強的廣告內(nèi)容。

社交娛樂

• 匿名聊天：生成虛擬形象保護隱私。

• 社交平臺：生成個性化虛擬形象。

醫(yī)療健康

• 虛擬健康咨詢：生成虛擬醫(yī)生形象。

• 康復(fù)訓(xùn)練：生成虛擬康復(fù)教練。

其他

• 虛擬導(dǎo)游：用于旅游規(guī)劃和景點介紹。

• 新聞播報：生成虛擬新聞主播。

相關(guān)鏈接

項目地址：https://github.com/HumanAIGC/chat-anyone

論文地址：https://arxiv.org/abs/2506.00920