HSMR：從單張圖像重建人體3D骨架和網(wǎng)格模型的新方法

映技派于2025-04-01發(fā)布在Ai產(chǎn)品

HSMR 是什么？

HSMR 是一種計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)，可以從單目或多目圖像中恢復(fù)人體的骨架結(jié)構(gòu)和三維網(wǎng)格模型。這項(xiàng)技術(shù)在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、游戲開發(fā)和運(yùn)動(dòng)分析等場(chǎng)景有很廣泛的應(yīng)用。

HSMR 是什么？.webp

方法

模型架構(gòu)：HSMR 采用基于 Transformer 的架構(gòu)，輸入為單張人體圖像，輸出為 SKEL 模型的姿勢(shì)參數(shù) q 和形狀參數(shù) β。
數(shù)據(jù)生成與訓(xùn)練：
由于缺乏足夠的訓(xùn)練數(shù)據(jù)，作者構(gòu)建了一個(gè)生成偽真實(shí)數(shù)據(jù)的流程，并通過迭代優(yōu)化的方式逐步改進(jìn)這些偽標(biāo)簽。
在訓(xùn)練過程中，通過優(yōu)化 HSMR 的估計(jì)結(jié)果以對(duì)齊真實(shí)二維關(guān)鍵點(diǎn)（SKELify），并使用優(yōu)化后的參數(shù)作為后續(xù)訓(xùn)練的監(jiān)督目標(biāo)。
生物力學(xué)準(zhǔn)確性：SKEL 模型具有生物力學(xué)上合理的自由度，能夠更真實(shí)地估計(jì)關(guān)節(jié)旋轉(zhuǎn)，避免了傳統(tǒng)方法中常見的關(guān)節(jié)角度限制違反問題。

HSMR：從單張圖像重建人體3D骨架和網(wǎng)格模型的新方法.webp

功能特征

端到端的單圖像重建：HSMR能夠直接從單張圖像中恢復(fù)出人體的骨架參數(shù)，這是首個(gè)實(shí)現(xiàn)此類功能的方法。
生物力學(xué)準(zhǔn)確性：采用SKEL參數(shù)化人體模型，該模型基于生物力學(xué)準(zhǔn)確的骨架設(shè)計(jì)，能夠提供更符合人體生理結(jié)構(gòu)的關(guān)節(jié)旋轉(zhuǎn)估計(jì)，避免了傳統(tǒng)方法中常見的不自然旋轉(zhuǎn)和生物力學(xué)不準(zhǔn)確的問題。
偽真實(shí)數(shù)據(jù)生成與迭代優(yōu)化訓(xùn)練：為了解決訓(xùn)練數(shù)據(jù)不足的問題，HSMR構(gòu)建了一個(gè)生成偽真實(shí)數(shù)據(jù)的流程，并通過迭代優(yōu)化的方式逐步改進(jìn)這些偽標(biāo)簽，以提高模型的訓(xùn)練精度。
Transformer架構(gòu)：使用基于Transformer的架構(gòu)來處理輸入圖像，估計(jì)SKEL模型的姿勢(shì)參數(shù)和形狀參數(shù)，能夠更好地捕捉圖像中的復(fù)雜特征和人體姿態(tài)信息。

應(yīng)用場(chǎng)景

虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí):提供更真實(shí)的交互體驗(yàn)，用于游戲、培訓(xùn)和模擬訓(xùn)練。
運(yùn)動(dòng)分析與生物力學(xué):分析運(yùn)動(dòng)員的動(dòng)作，優(yōu)化訓(xùn)練方法和設(shè)備設(shè)計(jì)。
醫(yī)療診斷與康復(fù):輔助醫(yī)生進(jìn)行姿勢(shì)評(píng)估和疾病診斷，幫助患者進(jìn)行康復(fù)訓(xùn)練。

實(shí)驗(yàn)結(jié)果

性能對(duì)比：HSMR 在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中與最先進(jìn)的方法相比具有競(jìng)爭(zhēng)力，并且在極端三維姿態(tài)和視角設(shè)置下顯著優(yōu)于其他方法。
可視化結(jié)果：通過相機(jī)視角和側(cè)面視角的可視化展示了 HSMR 的重建效果，證明了其在不同視角下的魯棒性。