隨著VR設(shè)備和內(nèi)容的廣泛使用，對(duì)3D場(chǎng)景生成技術(shù)的需求越來(lái)越普遍。然而，現(xiàn)有的 3D 場(chǎng)景生成模型將目標(biāo)場(chǎng)景限制在特定領(lǐng)域，這主要是因?yàn)樗鼈兪褂玫?3D 掃描數(shù)據(jù)集與現(xiàn)實(shí)世界相去甚遠(yuǎn)。為了解決這種局限性，我們提出了LucidDreamer，這是一個(gè)無(wú)域場(chǎng)景生成管道，它充分利用了現(xiàn)有大規(guī)模基于擴(kuò)散的生成模型的強(qiáng)大功能。

LucidDreamer項(xiàng)目地址：https://luciddreamer-cvlab.github.io/

我們的 LucidDreamer 有兩個(gè)交替步驟：做夢(mèng)和對(duì)齊。

首先，為了從輸入生成多視圖一致的圖像，我們將點(diǎn)云設(shè)置為每次生成圖像的幾何參考。具體來(lái)說(shuō)，我們將一部分點(diǎn)云投影到所需的視圖，并提供投影作為使用生成模型進(jìn)行修復(fù)的指導(dǎo)。使用估計(jì)的深度圖將繪制的圖像提升到 3D 空間，從而組成一個(gè)新點(diǎn)。

其次，為了將新點(diǎn)聚合到3D場(chǎng)景中，我們提出了一種對(duì)齊算法，該算法將新生成的3D場(chǎng)景的各個(gè)部分和諧地集成在一起。最終得到的3D場(chǎng)景是優(yōu)化高斯飛濺的初始點(diǎn)。與以前的 3D 場(chǎng)景生成方法相比，LucidDreamer 生成的高斯飛濺非常詳細(xì)，對(duì)目標(biāo)場(chǎng)景的域沒(méi)有限制。

LucidDreamer 可以接受一系列文本提示來(lái)生成場(chǎng)景，從而實(shí)現(xiàn)細(xì)粒度的控制。

基于 CLIP 的 Stable Diffusion 生成的圖像對(duì)生成的場(chǎng)景進(jìn)行定量比較。 我們使用 CLIP-Score 和 CLIP-IQA 與 RGBD2 對(duì)結(jié)果進(jìn)行定量比較。 對(duì)于 CLIP-IQA，我們使用質(zhì)量、色彩鮮艷和清晰的標(biāo)準(zhǔn)。 LucidDreamer 在所有指標(biāo)上都顯示出占主導(dǎo)地位的結(jié)果。

根據(jù)初始SfM點(diǎn)的來(lái)源重建高斯飛濺的度量。我們使用 COLMAP并比較重建結(jié)果。使用我們的點(diǎn)云始終如一地顯示出更好的重建指標(biāo)。