
騰訊混元3D
騰訊混元3D簡介
騰訊混元3D,全稱為Hunyuan3D-1.0,是騰訊推出的一款同時支持文生和圖生的3D開源模型,解決現有3D生成模型在生成速度和泛化能力的不足。
騰訊混元3D生成模型基于Diffusion技術,支持文本和圖像生成3D資產。該模型配備精心設計的文本和圖像編碼器、擴散模型及3D解碼器,能夠實現多視圖生成、重建及單視圖生成。騰訊混元3D大模型可快速生成精美3D物體,適用于多種下游應用。
騰訊混元3D技術特點與創新:
快速生成:輕量版模型能夠在10秒內生成高質量的3D資產,支持快速單圖生3D,10s內完成端到端生成,包括mesh,texture提取。
兩階段生成方法:Hunyuan3D-1.0采用多視圖生成和多視圖重建的兩步流程。首先,通過多視角擴散模型合成6個不同視角的新圖像,然后使用基于Transformer的稀疏視角大規模重建模型處理這些圖像,最終生成3D資產。
自適應CFG技術:在多視圖生成階段,通過調整不同視角和時間步的classifier-free guidance(CFG)尺度值,確保生成的圖像既接近輸入又具有多樣性。
開源全面性:模型權重、推理代碼、算法等全部開放,提供輕量版和標準版,輕量版能在A100 GPU上約10秒生成3D資產,極大降低了3D內容創作的門檻。
強大的泛化能力:泛化能力和可控性強,可重建各類尺度物體,大到建筑,小到工具花草,適應多種創作需求。
騰訊混元3D性能與應用:
超越SOTA:在定性和定量評估中,Hunyuan3D-1.0的表現超越了其他開源模型,尤其是在生成速度和泛化能力方面。
應用廣泛:Hunyuan3D技術已應用于騰訊的多個業務場景,如騰訊地圖的3D車標重建速度提升了91%。還有騰訊地圖,基于混元3D大模型,推出了自定義3D導航車標功能,用戶可以創作個性化的3D導航車標,相比傳統方案,速度提升了91%,上線了“3D角色夢工廠”功能,支持個性化的3D人物生成,為用戶提供了更多創作自由。
行業影響:Hunyuan3D-1.0的開源為游戲開發、影視制作、虛擬現實等領域提供了強大的工具,促進了ai生成3D內容的創新和應用。
騰訊混元3D應用場景:
游戲開發:生成高質量的游戲角色、道具、建筑等3D資產,大幅提升游戲開發效率
影視動畫:為創作者自動生成3D影視角色及動作效果,輔助完成動畫創作
電商廣告:根據廣告創意主題生成3D商品,實現互動特效,提升廣告內容創意
虛擬現實(VR)/增強現實(AR):生成逼真的3D虛擬環境元素及互動內容,增強沉浸式體驗
騰訊混元3D生成大模型“Hunyuan3D-1.0”已于11月5日正式開源。該模型是業界首個同時支持文字、圖像生成3D的開源大模型,提供輕量版和標準版兩種選擇。輕量版僅需10秒即可生成高質量3D資產,適用于企業及開發者的精調和部署需求。Hunyuan3D將大大促進3D資產的生成效率,為開發者提供更多的創作機會。
Github項目:https://github.com/Tencent/Hunyuan3D-1
Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1
相關資訊: