在數字人、虛擬主播、AR/VR等領域快速發展的背景下，高效生成真實、可動、可重光照的3D頭像成為關鍵需求。然而，從單目視頻中生成高度逼真的可動畫化頭像仍面臨諸多挑戰，現有基于3D高斯（3DGS）的方法在重建質量上存在一些限制，如幾何變形靈活性不足、表情追蹤不準確、無法實現真實重光照等。

清華大學與IDEA團隊合作，開發出HRAvatar——一種利用單目視頻創建高質量、可重光照3D頭像的新技術。它借助可學習的形變基和線性蒙皮，實現個性化幾何變形，同時配備精準的表情編碼器，降低追蹤誤差，提升重建品質。HRAvatar在實時性與細節呈現上表現出色，已被CVPR2025會議收錄。實驗表明，其在多項評估指標上優于現有技術，實時性能約155 FPS，還支持在新光照環境下進行重光照。

HRAvatar的核心技術

• 可學習形變基和線性蒙皮技術：通過自適應學習每個點的形變基與混合蒙皮權重，實現高斯點從標準姿態到各種表情和姿態的靈活變形，解決通用參數模型難以準確捕捉個性化表情變化的問題。

• 精準的表情編碼器：引入端到端的表情編碼器，與3D頭像重建聯合優化，利用高斯重建損失進行監督，減少追蹤誤差，提升重建質量。

• 外觀建模與物理著色：將頭像外觀分解為反照率、粗糙度、菲涅爾反射等材質屬性，引入反照率偽先驗以更好解耦材質信息，使用簡化的BRDF物理模型進行著色，并引入SplitSum近似技術對環境光照圖進行預計算，實現高質量、可重光照的實時渲染。

HRAvatar的技術優勢

• 重建質量高：在所有評估指標上都優于現有方法，特別是在LPIPS上，重建的頭像細節更豐富。

• 實時性能好：渲染速度達到約155FPS，滿足實時性要求。

• HRAvatar重建的頭像不僅可以進行驅動，還可以在新的環境光圖下進行重光照或簡單的材質編輯，適用于電影、游戲、沉浸式會議、AR/VR等領域。

項目相關鏈接

論文地址：https://arxiv.org/pdf/2503.08224

項目主頁：https://eastbeanzhang.github.io/HRAvatar/

開源代碼：https://github.com/Pixel-Talk/HRAvatar