InstantMesh是一個基于單張圖片，利用先進的稀疏視圖大型重建模型（LRM）架構(gòu)，快速生成3D網(wǎng)格（Mesh）的工具。這個框架允許用戶將2D圖片轉(zhuǎn)換成3D模型，通過自動化處理簡化了3D內(nèi)容的創(chuàng)建過程，對于游戲設(shè)計、動畫、建筑可視化等領(lǐng)域非常有用。

InstantMesh的架構(gòu)類似于Instant3D，由多視圖擴散模型GM和稀疏視圖大規(guī)模重建模型GR組成。給定輸入圖像，多視圖擴散模型GM生成3D一致的多視圖圖像，然后將其輸入稀疏視圖大規(guī)模重建模型GR以重建出高質(zhì)量的3D網(wǎng)格。

InstantMesh在線體驗地址：https://huggingface.co/spaces/TencentARC/InstantMesh

InstantMesh的主要特點：

• 高效的 3D 網(wǎng)格生成：InstantMesh 能夠以前所未有的速度和質(zhì)量從單個圖像生成 3D 網(wǎng)格，通常在 10 秒內(nèi)完成。這是通過集成現(xiàn)成的多視圖擴散模型和稀疏視圖重建模型來實現(xiàn)的，從而能夠快速創(chuàng)建多樣化的 3D 模型。

• 自動重新拓撲：InstantMesh能自動重新拓撲復(fù)雜的網(wǎng)格，使其成為簡化 3D 模型創(chuàng)建過程的寶貴工具。它可以處理各種輸入表面表示，包括點云、范圍掃描和三角形網(wǎng)格，并立即執(zhí)行完整的管道，即使是在具有數(shù)十萬個面的網(wǎng)格上。

• 高質(zhì)量：在公共數(shù)據(jù)集的實驗結(jié)果表明，InstantMesh在定性和定量上明顯優(yōu)于其他最新的圖像到3D基準模型。

• 訓(xùn)練可擴展性：基于LRM架構(gòu)，具有優(yōu)越的訓(xùn)練可擴展性，能夠處理大規(guī)模數(shù)據(jù)集。

• 集成可微分的等值面提取模塊：直接在網(wǎng)格表示上應(yīng)用幾何監(jiān)督，提高了訓(xùn)練效率和網(wǎng)格生成質(zhì)量。

實施和兼容性

• Modo集成：從10.2版本開始，Modo集成了Instant Meshes算法來實現(xiàn)其自動重新拓撲功能，展示了InstantMesh在專業(yè)軟件中的實際應(yīng)用。

• 開源軟件：InstantMesh 在 GitHub 上作為開源軟件提供，可供跨不同平臺（包括 Windows、Mac 和 Linux 5）的廣泛用戶使用。

• 技術(shù)要求：對于那些有興趣使用 InstantMesh 的人，建議的技術(shù)規(guī)范包括使用 Python>=3.10、PyTorch>=2.1.0 和 CUDA=12.1，以及具體的安裝和模型重量要求。

InstantMesh的出現(xiàn)，預(yù)示著3D建模和可視化領(lǐng)域?qū)⒂瓉硇碌淖兏铮?/span>為從單個圖像自動重新拓撲和生成 3D 網(wǎng)格提供了強大而高效的解決方案。它旨在解決缺乏3D數(shù)據(jù)的問題，并在3D生成方面復(fù)制圖像和視頻生成的成功。它結(jié)合了多視角擴散模型和基于LRM架構(gòu)的稀疏視角重建模型的優(yōu)勢，能夠在保持生成質(zhì)量的同時，顯著提高訓(xùn)練效率和可擴展性。