DSO是什么？

DSO（Direct Simulation Optimization）是牛津大學公布的一種用于提升圖像到3D模型生成器（如TRELLIS）的方法，通過直接模擬優化來增強生成的3D對象在物理模擬和現實世界中的穩定性。它無需在測試時增加額外成本，能在短時間內生成可站立的3D對象。

DSO功能特征

• 提升3D模型穩定性：解決了傳統生成器無法生成在重力下可站立的3D對象的問題，顯著提高了生成3D對象在物理模擬和3D打印時的穩定性。

• 高效性：在測試時不會增加額外成本，生成穩定3D對象的速度以秒計。

• 兼容性：基于現有的圖像到3D模型生成器（如TRELLIS）進行優化，能夠與之無縫銜接，充分利用其原有的功能和優勢。

• 提供預訓練模型：提供了兩種預訓練模型檢查點，分別通過直接偏好優化（DPO）和直接獎勵優化（DRO）訓練，方便用戶快速上手使用。

DSO應用場景

• 3D打印：生成的3D模型更有可能在實際打印后能夠穩定站立，減少了因模型不穩定導致的打印失敗或需要額外支撐結構的情況，提高了3D打印的成功率和實用性。

• 虛擬現實與增強現實：在虛擬環境中創建更加真實、穩定的3D對象，提升用戶體驗，例如在虛擬場景中放置的物體能夠按照物理規律穩定存在。

• 游戲開發：為游戲中的3D模型生成提供更符合物理規則的解決方案，使游戲中的物體在重力等物理因素作用下表現更加自然，增強游戲的真實感和沉浸感。

• 建筑設計與工業設計：幫助設計師快速生成符合物理穩定性的3D模型原型，進行初步的設計評估和驗證，減少因穩定性問題導致的設計修改和迭代次數。

DSO使用教程

1. 安裝依賴：

• 安裝TRELLIS依賴，創建Python環境并安裝指定版本的PyTorch及相關依賴庫，運行腳本安裝其他相關庫，最后安裝Kaolin庫。

• 安裝剩余依賴，通過pip install -r requirements.txt命令安裝。

2. 下載預訓練模型：通過git lfs install和git clone命令下載DPO和DRO訓練的預訓練模型。

3. 快速開始生成：使用example.py腳本，加載預訓練模型和輸入圖像，通過TrellisImageTo3DPipeline進行預處理和生成操作，最后將生成的模型導出為GLB格式。

4. 評估：

• 下載評估數據集。

• 使用訓練好的檢查點生成3D模型。

• 計算穩定性和幾何度量。

5. 訓練：

• 生成合成訓練數據，包括獲取圖像、生成3D模型以及添加模擬反饋并保存物理合理性分數。

• 啟動訓練作業，指定數據目錄并運行finetune.py腳本。

Github地址：https://github.com/RuiningLi/dso