Meta推出新一代3D基礎模型:AssetGen 2.0
AssetGen 2.0是什么?
Meta 推出的 AssetGen 2.0,是一款新的 3D 模型生成工具。它能用文字或圖片提示來快速做出又精細又逼真的 3D 模型和貼圖。AssetGen 2.0 用的是單階段 3D 擴散技術,讓生成過程更簡單,模型的形狀和紋理也更協調。Meta 想靠這個工具,讓做 3D 內容像做 2D 內容一樣輕松,方便大家搭建虛擬世界。而且,Meta 還在搞一個新功能,以后能一次性生成整個 3D 場景,讓 3D 內容創作更普及。
AssetGen 2.0功能
AssetGen 2.0是一款專為將文本和圖像提示轉化為高質量3D素材而設計的生成式模型,由Meta內部研發的兩個子模型構成,一個用于生成3D網格(meshes),另一個用于生成貼圖(textures)。
技術架構
單階段 3D 擴散模型:與 AssetGen 1.0 不同,AssetGen 2.0 采用單階段 3D 擴散模型直接從文本提示生成 3D 網格,而不是先生成 2D 視圖再處理。這種架構使其能夠生成具有幾何一致性和精細細節的 3D 資產。
紋理生成改進:AssetGen 2.0 包含一個升級的 TextureGen 模型,用于生成高質量的紋理。新模型在視圖一致性、紋理修復和紋理分辨率方面進行了改進。
應用場景
3D 世界創建:Meta 目前在內部使用 AssetGen 2.0 創建 3D 虛擬世界,并計劃在今年晚些時候將其推廣到 Horizon 創作者和 Meta Horizon Desktop 編輯器。
整套 3D 場景生成:Meta 還計劃在未來幾個月內推出基于 AssetGen 2.0 的整套 3D 場景生成功能,使創作者能夠通過簡單的文本或圖像提示快速生成復雜的虛擬環境。
AssetGen 2.0與AssetGen 1.0有哪些提升?
在繼承AssetGen 1.0的基礎上,AssetGen 2.0實現了在3D生成式ai研究上的重大突破。它采用單階段3D擴散模型(single - stage 3D diffusion model),大幅提升了3D網格的細節表現力和真實度,配套的TextureGen模型確保資產不僅視覺效果引人注目,還具備高質量貼圖,能滿足生產環境需求。該模型能在幾何結構上保持一致性,同時擁有極其精細的細節。與AssetGen 1.0不同,它在幾何建模方面采用3D擴散機制,并在大規模3D素材語料庫上進行訓練,貼圖生成方面引入了視角一致性增強、貼圖修復以及更高分辨率的貼圖生成等新技術。
另外,AssetGen 2.0 生成的 3D 資產在細節和保真度方面相比 AssetGen 1.0 有更明顯的提升,能夠生成具有精細幾何細節的資產。
詳細:https://developers.meta.com/horizon/blog/AssetGen2