TaoAvatar:阿里的一個高保真、輕量級的全身交互式數(shù)字人技術(shù)項目
TaoAvatar是什么?
TaoAvatar是一種高保真、輕量級的全身交互式數(shù)字人技術(shù),基于3D高斯點繪制(3DGS)技術(shù)開發(fā)。它通過創(chuàng)建個性化的穿衣人類參數(shù)化模板,并將高斯點綁定到模板上以表示外觀,從而實現(xiàn)逼真的全身數(shù)字人形象生成。TaoAvatar的核心優(yōu)勢在于能夠在移動設(shè)備和AR設(shè)備上實時運行,同時保持高分辨率渲染和低存儲需求。

TaoAvatar功能
高保真渲染:TaoAvatar能夠生成逼真的3D全身數(shù)字人形象,支持高分辨率渲染,同時保持低存儲需求。
實時交互:該技術(shù)能夠在各種移動和AR設(shè)備上實時運行,支持90 FPS的高幀率渲染,適用于如Apple Vision Pro等高清立體設(shè)備。
多信號驅(qū)動:TaoAvatar可以通過多種信號驅(qū)動,包括面部表情、手勢和身體姿勢,支持豐富的交互體驗。
輕量級架構(gòu):通過將復(fù)雜的非剛性變形“烘焙”到輕量級的MLP網(wǎng)絡(luò)中,并結(jié)合混合形狀補(bǔ)償細(xì)節(jié),TaoAvatar在保持高質(zhì)量渲染的同時,顯著提高了運行效率。
TaoAvatar應(yīng)用
電子商務(wù)直播:TaoAvatar可以用于創(chuàng)建逼真的虛擬主播。
全息通信:在遠(yuǎn)程通信中,TaoAvatar能夠生成逼真的虛擬形象。
虛擬娛樂:在游戲和虛擬現(xiàn)實應(yīng)用中,TaoAvatar可以創(chuàng)建個性化的虛擬角色。
移動設(shè)備和AR設(shè)備:TaoAvatar支持在多種移動設(shè)備和AR設(shè)備上運行,如Android、MacBook和Apple Vision Pro等。

TaoAvatar使用方法
數(shù)據(jù)準(zhǔn)備:需要多視角RGB視頻序列和對應(yīng)的SMPLX注冊信息。
模板創(chuàng)建:通過將高斯點綁定到SMPLX++模板上,創(chuàng)建個性化的穿衣人類參數(shù)化模板。
訓(xùn)練與優(yōu)化:使用StyleUnet網(wǎng)絡(luò)預(yù)訓(xùn)練,然后通過知識蒸餾技術(shù)將非剛性變形烘焙到輕量級MLP網(wǎng)絡(luò)中。
部署與運行:將優(yōu)化后的模型部署到目標(biāo)設(shè)備上,支持實時渲染和交互。
相關(guān)鏈接
項目:https://pixelai-team.github.io/TaoAvatar/
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
FastbuildAI









