HSMR 是什么？

HSMR 是一種計算機視覺和深度學(xué)習(xí)技術(shù)，可以從單目或多目圖像中恢復(fù)人體的骨架結(jié)構(gòu)和三維網(wǎng)格模型。 這項技術(shù)在虛擬現(xiàn)實、增強現(xiàn)實、游戲開發(fā)和運動分析等場景有很廣泛的應(yīng)用。

方法

• 模型架構(gòu)：HSMR 采用基于 Transformer 的架構(gòu)，輸入為單張人體圖像，輸出為 SKEL 模型的姿勢參數(shù) q 和形狀參數(shù) β。

• 數(shù)據(jù)生成與訓(xùn)練：

  由于缺乏足夠的訓(xùn)練數(shù)據(jù)，作者構(gòu)建了一個生成偽真實數(shù)據(jù)的流程，并通過迭代優(yōu)化的方式逐步改進這些偽標簽。

  在訓(xùn)練過程中，通過優(yōu)化 HSMR 的估計結(jié)果以對齊真實二維關(guān)鍵點（SKELify），并使用優(yōu)化后的參數(shù)作為后續(xù)訓(xùn)練的監(jiān)督目標。

• 生物力學(xué)準確性：SKEL 模型具有生物力學(xué)上合理的自由度，能夠更真實地估計關(guān)節(jié)旋轉(zhuǎn)，避免了傳統(tǒng)方法中常見的關(guān)節(jié)角度限制違反問題。

功能特征

• 端到端的單圖像重建：HSMR能夠直接從單張圖像中恢復(fù)出人體的骨架參數(shù)，這是首個實現(xiàn)此類功能的方法。

• 生物力學(xué)準確性：采用SKEL參數(shù)化人體模型，該模型基于生物力學(xué)準確的骨架設(shè)計，能夠提供更符合人體生理結(jié)構(gòu)的關(guān)節(jié)旋轉(zhuǎn)估計，避免了傳統(tǒng)方法中常見的不自然旋轉(zhuǎn)和生物力學(xué)不準確的問題。

• 偽真實數(shù)據(jù)生成與迭代優(yōu)化訓(xùn)練：為了解決訓(xùn)練數(shù)據(jù)不足的問題，HSMR構(gòu)建了一個生成偽真實數(shù)據(jù)的流程，并通過迭代優(yōu)化的方式逐步改進這些偽標簽，以提高模型的訓(xùn)練精度。

• Transformer架構(gòu)：使用基于Transformer的架構(gòu)來處理輸入圖像，估計SKEL模型的姿勢參數(shù)和形狀參數(shù)，能夠更好地捕捉圖像中的復(fù)雜特征和人體姿態(tài)信息。

應(yīng)用場景

• 虛擬現(xiàn)實與增強現(xiàn)實:提供更真實的交互體驗，用于游戲、培訓(xùn)和模擬訓(xùn)練。

• 運動分析與生物力學(xué):分析運動員的動作，優(yōu)化訓(xùn)練方法和設(shè)備設(shè)計。

• 醫(yī)療診斷與康復(fù):輔助醫(yī)生進行姿勢評估和疾病診斷，幫助患者進行康復(fù)訓(xùn)練。

實驗結(jié)果

• 性能對比：HSMR 在標準基準測試中與最先進的方法相比具有競爭力，并且在極端三維姿態(tài)和視角設(shè)置下顯著優(yōu)于其他方法。

• 可視化結(jié)果：通過相機視角和側(cè)面視角的可視化展示了 HSMR 的重建效果，證明了其在不同視角下的魯棒性。

相關(guān)鏈接

項目主頁：https://isshikihugh.github.io/HSMR/

Github地址：https://github.com/IsshikiHugh/HSMR

Huggingface：https://huggingface.co/spaces/IsshikiHugh/HSMR

論文：https://arxiv.org/abs/2503.21751