Wonder Journey
Wonder Journey簡介
Wonder Journey,只需要1張圖片或段文字描述就可以創建3D場景動畫,這是一個用于永久場景生成的模塊化框架,由斯坦福大學和谷歌聯手打造,是一項突破性項目。
Wonder Journey網址體驗入口:https://kovenyu.com/wonderjourney
與之前專注于單一類型場景的視圖生成工作不同, 我們從用戶提供的任何位置(通過文本描述或圖像)開始, 并通過一長串不同但連貫相連的 3D 場景生成旅程。 我們利用LLM來生成這個旅程中場景的文本描述, 文本驅動的點云生成管道,用于制作引人入勝且連貫的 3D 場景, 每個場景都充滿多樣性且緊密相連,以及一個大型 VLM,用于驗證生成的場景。 我們在各種場景類型和風格中展示引人注目的、多樣化的視覺效果,形成想象中的“奇妙旅程”。
Wonder Journey 的獨特之處在于它可以靈活地從任何位置啟動,無論是圖像還是文本描述。這開啟了一場“奇妙之旅”——沿著相機軌跡的一系列 3D 場景,展示了多樣化但相互關聯的景觀。
從任意位置(由文本或圖像指定)開始,Wonder Journey 生成一系列 沿著相機軌跡的多樣化但連貫相連的 3D 場景(即“奇妙之旅”)。 我們使用來回的攝像機軌跡來渲染“奇妙之旅”。
Wonder Journey 可以合成長篇“wonder journeys”。 將鼠標懸停在視頻上可暫停自動滑動。
從同一位置開始,Wonder Journey 可以生成 一系列多樣化的“奇妙之旅”,在不同的目的地結束。我們使用相機姿勢的軌跡來渲染下面的每個視頻。 將鼠標懸停在視頻上可暫停自動滑動。
Wonder Journey 還可以生成受控的 wonder journeys 給定一系列文本描述,例如詩歌、俳句和故事摘要。 將鼠標懸停在視頻上可暫停自動滑動。此功能允許用戶影響旅程的主題方向和進展,使其不僅成為探索的工具,而且成為講故事和藝術表達的工具。