
Unique3D
Unique3D簡介
Unique3D 在 30 秒內從單視圖野生圖像生成高保真、多樣化紋理網格,當然運行速度取決于你的硬件資源情況。
Unique3D主要功能:
高保真度生成:Unique3D 實現了最先進的生成保真度,可生成細致復雜的紋理和復雜的幾何形狀。這是通過多視圖擴散模型來實現的,該模型生成正交多視圖圖像和相應的法線貼圖。
效率:框架效率高,能夠在30秒內生成高保真3D網格。這種效率歸功于快速前饋模型和稱為 ISOMER 的即時網格重建算法的集成。
一致性:Unique3D 通過使用多級升級流程逐步提高生成圖像的分辨率,確保生成視圖的一致性。 ISOMER 算法將顏色和幾何先驗集成到網格結果中,解決了先前方法中發現的不一致問題。
通用性:該框架表現出很強的通用性,在各種不同風格的野生2D圖像上表現良好。大量實驗證明了這一點,這些實驗表明 Unique3D 在保真度、幾何細節和分辨率方面優于現有方法。
多級升級策略:Unique3D采用多級升級策略來逐步增強生成圖像的分辨率。這涉及微調多視圖感知 ControlNet 并使用超分辨率模型來實現高分辨率輸出。
法線貼圖預測:為了捕捉豐富的表面細節,Unique3D 使用法線擴散模型來預測與多視圖彩色圖像相對應的法線貼圖。這提高了幾何細節的準確性,尤其是邊緣處。
ExplicitTarget 優化:為了解決多視圖不一致問題并細化幾何細節,Unique3D 引入了 ExplicitTarget 優化。該方法為每個頂點分配唯一的優化目標,比傳統方法更穩健地指導優化方向。
Unique3D特征:
在 30 秒內生成高保真紋理網格。
5 天內僅使用 8 個 RTX4090 GPU 進行訓練。
利用多視圖擴散模型和法線擴散模型來生成多視圖圖像和法線貼圖。
采用多級升級流程來提高分辨率。
使用 ISOMER 進行即時且一致的網格重建。
Unique3D由清華大學和AVAR Inc.的研究團隊共同開發。
Unique3D官網入口:
Unique3D 在線使用:https://huggingface.co/spaces/Wuvin/Unique3D
Unique3D 項目地址:https://wukailu.github.io/Unique3D/
Unique3D Github:https://github.com/AiuniAI/Unique3D
與Unique3D相關工具
- 用戶登錄