TaoAvatar是什么？

TaoAvatar是一種高保真、輕量級的全身交互式數字人技術，基于3D高斯點繪制（3DGS）技術開發(fā)。它通過創(chuàng)建個性化的穿衣人類參數化模板，并將高斯點綁定到模板上以表示外觀，從而實現逼真的全身數字人形象生成。TaoAvatar的核心優(yōu)勢在于能夠在移動設備和AR設備上實時運行，同時保持高分辨率渲染和低存儲需求。

TaoAvatar功能

• 高保真渲染：TaoAvatar能夠生成逼真的3D全身數字人形象，支持高分辨率渲染，同時保持低存儲需求。

• 實時交互：該技術能夠在各種移動和AR設備上實時運行，支持90 FPS的高幀率渲染，適用于如Apple Vision Pro等高清立體設備。

• 多信號驅動：TaoAvatar可以通過多種信號驅動，包括面部表情、手勢和身體姿勢，支持豐富的交互體驗。

• 輕量級架構：通過將復雜的非剛性變形“烘焙”到輕量級的MLP網絡中，并結合混合形狀補償細節(jié)，TaoAvatar在保持高質量渲染的同時，顯著提高了運行效率。

TaoAvatar應用

• 電子商務直播：TaoAvatar可以用于創(chuàng)建逼真的虛擬主播。

• 全息通信：在遠程通信中，TaoAvatar能夠生成逼真的虛擬形象。

• 虛擬娛樂：在游戲和虛擬現實應用中，TaoAvatar可以創(chuàng)建個性化的虛擬角色。

• 移動設備和AR設備：TaoAvatar支持在多種移動設備和AR設備上運行，如Android、MacBook和Apple Vision Pro等。

TaoAvatar使用方法

1. 數據準備：需要多視角RGB視頻序列和對應的SMPLX注冊信息。

2. 模板創(chuàng)建：通過將高斯點綁定到SMPLX++模板上，創(chuàng)建個性化的穿衣人類參數化模板。

3. 訓練與優(yōu)化：使用StyleUnet網絡預訓練，然后通過知識蒸餾技術將非剛性變形烘焙到輕量級MLP網絡中。

4. 部署與運行：將優(yōu)化后的模型部署到目標設備上，支持實時渲染和交互。

相關鏈接

項目：https://pixelai-team.github.io/TaoAvatar/

論文：https://arxiv.org/pdf/2503.17032

模型：https://huggingface.co/datasets/PixelAI-Team/TalkBody4D