TaoAvatar是什么？

TaoAvatar是一種高保真、輕量級(jí)的全身交互式數(shù)字人技術(shù)，基于3D高斯點(diǎn)繪制（3DGS）技術(shù)開發(fā)。它通過創(chuàng)建個(gè)性化的穿衣人類參數(shù)化模板，并將高斯點(diǎn)綁定到模板上以表示外觀，從而實(shí)現(xiàn)逼真的全身數(shù)字人形象生成。TaoAvatar的核心優(yōu)勢在于能夠在移動(dòng)設(shè)備和AR設(shè)備上實(shí)時(shí)運(yùn)行，同時(shí)保持高分辨率渲染和低存儲(chǔ)需求。

TaoAvatar功能

• 高保真渲染：TaoAvatar能夠生成逼真的3D全身數(shù)字人形象，支持高分辨率渲染，同時(shí)保持低存儲(chǔ)需求。

• 實(shí)時(shí)交互：該技術(shù)能夠在各種移動(dòng)和AR設(shè)備上實(shí)時(shí)運(yùn)行，支持90 FPS的高幀率渲染，適用于如Apple Vision Pro等高清立體設(shè)備。

• 多信號(hào)驅(qū)動(dòng)：TaoAvatar可以通過多種信號(hào)驅(qū)動(dòng)，包括面部表情、手勢和身體姿勢，支持豐富的交互體驗(yàn)。

• 輕量級(jí)架構(gòu)：通過將復(fù)雜的非剛性變形“烘焙”到輕量級(jí)的MLP網(wǎng)絡(luò)中，并結(jié)合混合形狀補(bǔ)償細(xì)節(jié)，TaoAvatar在保持高質(zhì)量渲染的同時(shí)，顯著提高了運(yùn)行效率。

TaoAvatar應(yīng)用

• 電子商務(wù)直播：TaoAvatar可以用于創(chuàng)建逼真的虛擬主播。

• 全息通信：在遠(yuǎn)程通信中，TaoAvatar能夠生成逼真的虛擬形象。

• 虛擬娛樂：在游戲和虛擬現(xiàn)實(shí)應(yīng)用中，TaoAvatar可以創(chuàng)建個(gè)性化的虛擬角色。

• 移動(dòng)設(shè)備和AR設(shè)備：TaoAvatar支持在多種移動(dòng)設(shè)備和AR設(shè)備上運(yùn)行，如Android、MacBook和Apple Vision Pro等。

TaoAvatar使用方法

1. 數(shù)據(jù)準(zhǔn)備：需要多視角RGB視頻序列和對(duì)應(yīng)的SMPLX注冊(cè)信息。

2. 模板創(chuàng)建：通過將高斯點(diǎn)綁定到SMPLX++模板上，創(chuàng)建個(gè)性化的穿衣人類參數(shù)化模板。

3. 訓(xùn)練與優(yōu)化：使用StyleUnet網(wǎng)絡(luò)預(yù)訓(xùn)練，然后通過知識(shí)蒸餾技術(shù)將非剛性變形烘焙到輕量級(jí)MLP網(wǎng)絡(luò)中。

4. 部署與運(yùn)行：將優(yōu)化后的模型部署到目標(biāo)設(shè)備上，支持實(shí)時(shí)渲染和交互。

相關(guān)鏈接

項(xiàng)目：https://pixelai-team.github.io/TaoAvatar/

論文：https://arxiv.org/pdf/2503.17032

模型：https://huggingface.co/datasets/PixelAI-Team/TalkBody4D