HSMR 是什么？

HSMR 是一種計算機視覺和深度學習技術，可以從單目或多目圖像中恢復人體的骨架結構和三維網格模型。 這項技術在虛擬現實、增強現實、游戲開發和運動分析等場景有很廣泛的應用。

方法

• 模型架構：HSMR 采用基于 Transformer 的架構，輸入為單張人體圖像，輸出為 SKEL 模型的姿勢參數 q 和形狀參數 β。

• 數據生成與訓練：

  由于缺乏足夠的訓練數據，作者構建了一個生成偽真實數據的流程，并通過迭代優化的方式逐步改進這些偽標簽。

  在訓練過程中，通過優化 HSMR 的估計結果以對齊真實二維關鍵點（SKELify），并使用優化后的參數作為后續訓練的監督目標。

• 生物力學準確性：SKEL 模型具有生物力學上合理的自由度，能夠更真實地估計關節旋轉，避免了傳統方法中常見的關節角度限制違反問題。

功能特征

• 端到端的單圖像重建：HSMR能夠直接從單張圖像中恢復出人體的骨架參數，這是首個實現此類功能的方法。

• 生物力學準確性：采用SKEL參數化人體模型，該模型基于生物力學準確的骨架設計，能夠提供更符合人體生理結構的關節旋轉估計，避免了傳統方法中常見的不自然旋轉和生物力學不準確的問題。

• 偽真實數據生成與迭代優化訓練：為了解決訓練數據不足的問題，HSMR構建了一個生成偽真實數據的流程，并通過迭代優化的方式逐步改進這些偽標簽，以提高模型的訓練精度。

• Transformer架構：使用基于Transformer的架構來處理輸入圖像，估計SKEL模型的姿勢參數和形狀參數，能夠更好地捕捉圖像中的復雜特征和人體姿態信息。

應用場景

• 虛擬現實與增強現實:提供更真實的交互體驗，用于游戲、培訓和模擬訓練。

• 運動分析與生物力學:分析運動員的動作，優化訓練方法和設備設計。

• 醫療診斷與康復:輔助醫生進行姿勢評估和疾病診斷，幫助患者進行康復訓練。

實驗結果

• 性能對比：HSMR 在標準基準測試中與最先進的方法相比具有競爭力，并且在極端三維姿態和視角設置下顯著優于其他方法。

• 可視化結果：通過相機視角和側面視角的可視化展示了 HSMR 的重建效果，證明了其在不同視角下的魯棒性。

相關鏈接

項目主頁：https://isshikihugh.github.io/HSMR/

Github地址：https://github.com/IsshikiHugh/HSMR

Huggingface：https://huggingface.co/spaces/IsshikiHugh/HSMR

論文：https://arxiv.org/abs/2503.21751