MultiGO是什么？

港科廣團隊的MultiGO方案用分層建模的方式，從單張圖片生成高保真3D人體模型，把人體從基礎體型到細節紋理分層細化，解決了傳統三維重建細節不足的問題。這個成果入選了CVPR 2025，還能用在虛擬試衣、游戲角色生成和影視特效等領域。它通過三級幾何學習增強了對深度誤差的抗性，能把表面細節還原到亞毫米級別，很有實用價值。

MultiGO技術

三級幾何學習框架

• 骨架增強模塊：通過將3D傅里葉特征投影到2D空間，結合SMPL-X人體網格作為幾何先驗，增強人體骨架的建模。傅里葉空間位置編碼提升了3D模型與2D圖像的語義對齊能力，使得模型能夠更精準地捕捉到人體姿態特征。

• 關節增強策略：在訓練過程中對關節點位置施加擾動，提升模型對深度估計誤差的魯棒性。這一策略通過重點調整影響深度感知的參數，避免因深度歧義導致的肢體位置重建不準確。

• 皺紋優化模塊：采用類似擴散模型去噪的方法，將表面皺紋視為可優化的噪聲模式，逐步恢復出更精細化的高頻細節。這一創新方法使得MultiGO能夠生成亞毫米級的表面細節，有效彌補了傳統方法在衣物褶皺等高頻細節上的不足。

高精度細節還原

• MultiGO通過三級分層建模策略，實現了從宏觀姿態到微觀細節的多尺度精細化重建。實驗結果顯示，MultiGO在CustomHuman和THuman3.0兩個測試集上均取得了行業領先的性能指標。

工作原理

SLE 模塊將 3D 傅里葉特征投影到輸入圖像 2D 空間，讓高斯重建模型利用人體形狀先驗知識，準確捕捉人體姿勢；JLA 策略在訓練時施加受控擾動，提高模型在推理時對深度誤差的魯棒性，改善人體關節深度估計；WLR 模塊把粗糙網格視為高斯噪聲，以重建高斯的高質量紋理為條件細化褶皺，優化幾何細節。

MultiGO優勢

• 高保真3D人體重建：能夠從單目圖像中生成高保真的3D人體模型，支持衣物褶皺、皮膚紋理等細節的精細重建。

• 快速生成與調整：支持快速生成個性化3D虛擬形象，并允許靈活調整細節，顯著降低美術資源生產成本。

• 多場景適配：適用于需要快速生成且對真實感和多尺度細節還原要求高的應用場景。

MultiGO的應用場景

• 虛擬試衣與時尚電商：消費者只需上傳一張全身照片，即可生成高保真的3D人體模型，系統能夠自動模擬不同服裝的穿著效果。

• 游戲與元宇宙：通過單張照片快速創建個性化的3D虛擬形象，分層結構支持靈活調整。

• 影視特效與虛擬制作：在特效制作中，演員的單視角照片即可重建高精度3D模型，用于動作捕捉或替身合成，分層設計允許后期單獨編輯特定層級。

項目鏈接

https://multigohuman.github.io/