PartCrafter是什么？

PartCrafter 是一個(gè)由北京大學(xué)、字節(jié)跳動(dòng)和卡內(nèi)基梅隆大學(xué)合作開(kāi)發(fā)的新型 3D 生成工具。它可以從一張普通的 RGB 圖片中直接生成多個(gè)具有明確結(jié)構(gòu)和形狀的 3D 網(wǎng)格部件。

核心功能

• 多部件生成：PartCrafter 能夠一次性從單張圖片中生成多個(gè)獨(dú)立的 3D 部件，不需要先對(duì)圖片進(jìn)行分割處理。

• 部件級(jí)操作：生成的 3D 模型支持單獨(dú)編輯每個(gè)部件，比如調(diào)整位置、旋轉(zhuǎn)角度或縮放大小。

• 一鍵生成：用戶只需提供一張圖片，PartCrafter 就能直接生成復(fù)雜的 3D 場(chǎng)景。

• 高效生成：借助預(yù)訓(xùn)練的 3D 網(wǎng)格擴(kuò)散 Transformer（DiT），PartCrafter 的生成速度更快。

技術(shù)原理

• 組合式潛在空間：每個(gè)3D部件都用一組獨(dú)立的潛在令牌來(lái)表示。這樣一來(lái)，部件在生成的時(shí)候可以各自獨(dú)立發(fā)展，還能保留住部件級(jí)別的細(xì)節(jié)。

• 層次化注意力機(jī)制：這個(gè)機(jī)制能讓信息在單個(gè)部件內(nèi)部以及各個(gè)部件之間有序流動(dòng)，確保生成出來(lái)的東西整體上是一致的。

• 基于預(yù)訓(xùn)練的3D網(wǎng)格擴(kuò)散變換器（DiT）：它繼承了預(yù)訓(xùn)練的權(quán)重、編碼器和解碼器，這些都讓模型的生成能力更上一層樓。

• 端到端部件感知生成：只要有一張圖片，就能同時(shí)對(duì)多個(gè)3D部件進(jìn)行去噪處理，實(shí)現(xiàn)從單個(gè)對(duì)象到復(fù)雜多對(duì)象場(chǎng)景的直接生成。

數(shù)據(jù)與訓(xùn)練

• 數(shù)據(jù)集：從大規(guī)模 3D 數(shù)據(jù)集中提取部件級(jí)注釋，構(gòu)建了一個(gè)包含約 5 萬(wàn)個(gè)標(biāo)注對(duì)象和 30 萬(wàn)個(gè)獨(dú)立部件的數(shù)據(jù)集。

• 訓(xùn)練方法：采用課程學(xué)習(xí)策略，逐步優(yōu)化模型性能。

應(yīng)用場(chǎng)景

• 游戲開(kāi)發(fā)：能快速生成高質(zhì)量的3D游戲資產(chǎn)，像角色、道具和場(chǎng)景這些。開(kāi)發(fā)者只要給一張圖或者簡(jiǎn)單描述一下，很快就能得到大量3D模型，大大加快游戲開(kāi)發(fā)速度。

• 建筑和室內(nèi)設(shè)計(jì)：可以快速生成建筑模型和室內(nèi)裝飾方案。設(shè)計(jì)師把建筑圖紙或設(shè)計(jì)草圖上傳進(jìn)去，馬上就能得到3D模型，方便做方案展示，讓客戶更清楚地理解設(shè)計(jì)想法。

• 影視制作：它有超高清幾何細(xì)節(jié)建模能力，還能通過(guò)多視圖輸入生成PBR模型，能給影視制作團(tuán)隊(duì)提供高質(zhì)量的3D模型素材。

性能表現(xiàn)

• 效率高：從單張圖片生成結(jié)構(gòu)化的 3D 模型僅需約 40 秒。

• 精度高：部件生成精度和場(chǎng)景一致性分別比現(xiàn)有方法提高了 32% 和 28%。

項(xiàng)目鏈接

項(xiàng)目主頁(yè)：https://wgsxm.github.io/projects/partcrafter/

GitHub 倉(cāng)庫(kù)：https://github.com/wgsxm/PartCrafter

論文地址：https://arxiv.org/abs/2506.05573