HRAvatar：單目生成高質(zhì)量3D頭像方法

HRAvatar于2025-05-23發(fā)布在Ai產(chǎn)品

在數(shù)字人、虛擬主播、AR/VR等領(lǐng)域快速發(fā)展的背景下，高效生成真實(shí)、可動、可重光照的3D頭像成為關(guān)鍵需求。然而，從單目視頻中生成高度逼真的可動畫化頭像仍面臨諸多挑戰(zhàn)，現(xiàn)有基于3D高斯（3DGS）的方法在重建質(zhì)量上存在一些限制，如幾何變形靈活性不足、表情追蹤不準(zhǔn)確、無法實(shí)現(xiàn)真實(shí)重光照等。

清華大學(xué)與IDEA團(tuán)隊(duì)合作，開發(fā)出HRAvatar——一種利用單目視頻創(chuàng)建高質(zhì)量、可重光照3D頭像的新技術(shù)。它借助可學(xué)習(xí)的形變基和線性蒙皮，實(shí)現(xiàn)個性化幾何變形，同時配備精準(zhǔn)的表情編碼器，降低追蹤誤差，提升重建品質(zhì)。HRAvatar在實(shí)時性與細(xì)節(jié)呈現(xiàn)上表現(xiàn)出色，已被CVPR2025會議收錄。實(shí)驗(yàn)表明，其在多項(xiàng)評估指標(biāo)上優(yōu)于現(xiàn)有技術(shù)，實(shí)時性能約155 FPS，還支持在新光照環(huán)境下進(jìn)行重光照。

HRAvatar：單目生成高質(zhì)量3D頭像方法.jpg

HRAvatar的核心技術(shù)

可學(xué)習(xí)形變基和線性蒙皮技術(shù)：通過自適應(yīng)學(xué)習(xí)每個點(diǎn)的形變基與混合蒙皮權(quán)重，實(shí)現(xiàn)高斯點(diǎn)從標(biāo)準(zhǔn)姿態(tài)到各種表情和姿態(tài)的靈活變形，解決通用參數(shù)模型難以準(zhǔn)確捕捉個性化表情變化的問題。
精準(zhǔn)的表情編碼器：引入端到端的表情編碼器，與3D頭像重建聯(lián)合優(yōu)化，利用高斯重建損失進(jìn)行監(jiān)督，減少追蹤誤差，提升重建質(zhì)量。
外觀建模與物理著色：將頭像外觀分解為反照率、粗糙度、菲涅爾反射等材質(zhì)屬性，引入反照率偽先驗(yàn)以更好解耦材質(zhì)信息，使用簡化的BRDF物理模型進(jìn)行著色，并引入SplitSum近似技術(shù)對環(huán)境光照圖進(jìn)行預(yù)計(jì)算，實(shí)現(xiàn)高質(zhì)量、可重光照的實(shí)時渲染。

HRAvatar的技術(shù)優(yōu)勢

重建質(zhì)量高：在所有評估指標(biāo)上都優(yōu)于現(xiàn)有方法，特別是在LPIPS上，重建的頭像細(xì)節(jié)更豐富。
實(shí)時性能好：渲染速度達(dá)到約155FPS，滿足實(shí)時性要求。
HRAvatar重建的頭像不僅可以進(jìn)行驅(qū)動，還可以在新的環(huán)境光圖下進(jìn)行重光照或簡單的材質(zhì)編輯，適用于電影、游戲、沉浸式會議、AR/VR等領(lǐng)域。