CADCrafter：?jiǎn)螐垐D片到參數(shù)化CAD模型生成框架

CADCrafter于2025-04-16發(fā)布在Ai產(chǎn)品

CADCrafter是什么？

CADCrafter 是一種由魔芯科技、新加坡南洋理工大學(xué)等機(jī)構(gòu)研究人員提出的圖像到參數(shù)化 CAD 模型生成框架。它能夠直接從單張圖片生成高質(zhì)量、可編輯的 CAD 模型，這些模型可以通過(guò) CAD 編譯器編譯為可用于生產(chǎn)的 3D 文件，解決了從圖像到可編輯CAD模型的轉(zhuǎn)換問(wèn)題。

CADCrafter核心特點(diǎn)

基于幾何特征的生成：CADCrafter 使用幾何編碼器來(lái)準(zhǔn)確捕捉圖像中的幾何特征，例如深度和法線圖。這些特征不僅增強(qiáng)了模型的幾何表示能力，還使得模型能夠更好地從合成數(shù)據(jù)泛化到真實(shí)世界圖像。
直接偏好優(yōu)化（DPO）：由于將 CAD 參數(shù)序列編譯為顯式 CAD 模型是非可微分過(guò)程，CADCrafter 通過(guò) DPO 方法利用 CAD 編譯器的反饋來(lái)優(yōu)化模型，確保生成的 CAD 指令具有更高的可編譯性和幾何精度。
多視圖到單視圖的知識(shí)蒸餾：CADCrafter 通過(guò)將多視圖幾何編碼器的知識(shí)蒸餾到單視圖編碼器中，提高了單視圖輸入的準(zhǔn)確性和魯棒性。
數(shù)據(jù)集貢獻(xiàn)：研究團(tuán)隊(duì)還收集了一個(gè)名為 RealCAD 的真實(shí)世界數(shù)據(jù)集，包含多視圖圖像和對(duì)應(yīng)的 CAD 指令序列，用于驗(yàn)證模型的性能。

CADCrafter研究方法

CADCrafter只要通過(guò)下面幾個(gè)步驟來(lái)實(shí)現(xiàn)從圖像到CAD模型的轉(zhuǎn)換：

CAD命令序列編碼：將CAD命令序列編碼為離散和連續(xù)的參數(shù)序列，并通過(guò)嵌入空間進(jìn)行處理。
幾何條件編碼器：提取輸入圖像的深度和法線圖，利用這些幾何特征來(lái)增強(qiáng)模型對(duì)幾何結(jié)構(gòu)的理解，并減少合成數(shù)據(jù)和真實(shí)圖像之間的域差距。
去噪CAD潛在向量：使用基于擴(kuò)散模型的架構(gòu)來(lái)去噪潛在CAD代碼，該架構(gòu)通過(guò)迭代學(xué)習(xí)恢復(fù)原始潛在向量。
多視圖到單視圖的知識(shí)蒸餾：通過(guò)將多視圖幾何編碼器的知識(shí)蒸餾到單視圖幾何編碼器中，提高單視圖輸入的準(zhǔn)確性和魯棒性。
直接偏好優(yōu)化（DPO）：通過(guò)CAD編譯器的反饋來(lái)優(yōu)化模型，確保生成的CAD指令具有更高的可編譯性和幾何精度。

CADCrafter：?jiǎn)螐垐D片到參數(shù)化CAD模型生成框架.webp

實(shí)驗(yàn)

數(shù)據(jù)集：使用DeepCAD數(shù)據(jù)集進(jìn)行訓(xùn)練，并收集了一個(gè)名為RealCAD的真實(shí)世界數(shù)據(jù)集進(jìn)行測(cè)試。
評(píng)估指標(biāo)：采用命令準(zhǔn)確性（Acccmd）、參數(shù)準(zhǔn)確性（Accpara）、中位數(shù)Chamfer距離（Med CD）和無(wú)效率（IR）來(lái)評(píng)估模型性能。
結(jié)果：

在DeepCAD數(shù)據(jù)集上，CADCrafter在多視圖和單視圖任務(wù)中均表現(xiàn)出色，顯著降低了無(wú)效率。
在RealCAD數(shù)據(jù)集上，盡管模型僅在合成數(shù)據(jù)上進(jìn)行訓(xùn)練，但其在真實(shí)世界數(shù)據(jù)上的泛化能力表現(xiàn)良好，保持了高準(zhǔn)確性和低無(wú)效率。
與現(xiàn)有的圖像到3D模型生成方法（如One-2-3-45、Wonder3D和TripoSR）相比，CADCrafter在幾何精度上表現(xiàn)更好。