騰訊混元3D，全稱為Hunyuan3D-1.0，是騰訊推出的一款同時(shí)支持文生和圖生的3D開源模型，解決現(xiàn)有3D生成模型在生成速度和泛化能力的不足。

騰訊混元3D生成模型基于Diffusion技術(shù)，支持文本和圖像生成3D資產(chǎn)。該模型配備精心設(shè)計(jì)的文本和圖像編碼器、擴(kuò)散模型及3D解碼器，能夠?qū)崿F(xiàn)多視圖生成、重建及單視圖生成。騰訊混元3D大模型可快速生成精美3D物體，適用于多種下游應(yīng)用。

騰訊混元3D技術(shù)特點(diǎn)與創(chuàng)新：

快速生成：輕量版模型能夠在10秒內(nèi)生成高質(zhì)量的3D資產(chǎn)，支持快速單圖生3D，10s內(nèi)完成端到端生成，包括mesh，texture提取。

兩階段生成方法：Hunyuan3D-1.0采用多視圖生成和多視圖重建的兩步流程。首先，通過多視角擴(kuò)散模型合成6個(gè)不同視角的新圖像，然后使用基于Transformer的稀疏視角大規(guī)模重建模型處理這些圖像，最終生成3D資產(chǎn)。

自適應(yīng)CFG技術(shù)：在多視圖生成階段，通過調(diào)整不同視角和時(shí)間步的classifier-free guidance（CFG）尺度值，確保生成的圖像既接近輸入又具有多樣性。

開源全面性：模型權(quán)重、推理代碼、算法等全部開放，提供輕量版和標(biāo)準(zhǔn)版，輕量版能在A100 GPU上約10秒生成3D資產(chǎn)，極大降低了3D內(nèi)容創(chuàng)作的門檻。

強(qiáng)大的泛化能力：泛化能力和可控性強(qiáng)，可重建各類尺度物體，大到建筑，小到工具花草，適應(yīng)多種創(chuàng)作需求。

騰訊混元3D性能與應(yīng)用：

• 超越SOTA：在定性和定量評(píng)估中，Hunyuan3D-1.0的表現(xiàn)超越了其他開源模型，尤其是在生成速度和泛化能力方面。

• 應(yīng)用廣泛：Hunyuan3D技術(shù)已應(yīng)用于騰訊的多個(gè)業(yè)務(wù)場(chǎng)景，如騰訊地圖的3D車標(biāo)重建速度提升了91%。還有騰訊地圖，基于混元3D大模型，推出了自定義3D導(dǎo)航車標(biāo)功能，用戶可以創(chuàng)作個(gè)性化的3D導(dǎo)航車標(biāo)，相比傳統(tǒng)方案，速度提升了91%，上線了“3D角色夢(mèng)工廠”功能，支持個(gè)性化的3D人物生成，為用戶提供了更多創(chuàng)作自由。

• 行業(yè)影響：Hunyuan3D-1.0的開源為游戲開發(fā)、影視制作、虛擬現(xiàn)實(shí)等領(lǐng)域提供了強(qiáng)大的工具，促進(jìn)了ai生成3D內(nèi)容的創(chuàng)新和應(yīng)用。

騰訊混元3D應(yīng)用場(chǎng)景：

• 游戲開發(fā)：生成高質(zhì)量的游戲角色、道具、建筑等3D資產(chǎn)，大幅提升游戲開發(fā)效率

• 影視動(dòng)畫：為創(chuàng)作者自動(dòng)生成3D影視角色及動(dòng)作效果，輔助完成動(dòng)畫創(chuàng)作

• 電商廣告：根據(jù)廣告創(chuàng)意主題生成3D商品，實(shí)現(xiàn)互動(dòng)特效，提升廣告內(nèi)容創(chuàng)意

• 虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）：生成逼真的3D虛擬環(huán)境元素及互動(dòng)內(nèi)容，增強(qiáng)沉浸式體驗(yàn)

騰訊混元3D生成大模型“Hunyuan3D-1.0”已于11月5日正式開源。該模型是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開源大模型，提供輕量版和標(biāo)準(zhǔn)版兩種選擇。輕量版僅需10秒即可生成高質(zhì)量3D資產(chǎn)，適用于企業(yè)及開發(fā)者的精調(diào)和部署需求。Hunyuan3D將大大促進(jìn)3D資產(chǎn)的生成效率，為開發(fā)者提供更多的創(chuàng)作機(jī)會(huì)。

Github項(xiàng)目：https://github.com/Tencent/Hunyuan3D-1

Hugging Face：https://huggingface.co/tencent/Hunyuan3D-1

相關(guān)資訊：

騰訊混元DiT：騰訊推出的一款文本到圖像生成模型