首頁 > Ai資訊 > Ai產(chǎn)品

Matrix-Game：昆侖萬維正式開源的17B+交互式世界基礎(chǔ)模型

昆侖萬維于2025-05-14發(fā)布在Ai產(chǎn)品

Matrix-Game是什么？

Matrix-Game是昆侖萬維在2025年5月13日正式開源的17B+交互式世界基礎(chǔ)模型，也是工業(yè)界首個開源的10B+空間智能大模型。

screenshot (8).webp

交互式世界生成：Matrix-Game是一個面向游戲世界建模的交互式世界基礎(chǔ)模型，用戶可以通過簡單的鍵盤指令、鼠標(biāo)移動等操作，自由探索、操控甚至創(chuàng)造出細(xì)節(jié)豐富、物理規(guī)則合理的虛擬世界。
高精度控制：在控制性能上，Matrix-Game可實現(xiàn)“運動”“攻擊”等動作高達(dá)90%+準(zhǔn)確率，在細(xì)粒度視角控制下依然保持高精度響應(yīng)。
多場景泛化能力：Matrix-Game在8大典型Minecraft場景中全面領(lǐng)先，展現(xiàn)出卓越的環(huán)境適應(yīng)性與泛化能力，有潛力泛化到非Minecraft游戲環(huán)境。
自回歸式長視頻生成：支持自回歸式的長視頻生成，實現(xiàn)動作與視角之間的絲滑銜接，確保時間一致性與環(huán)境適應(yīng)性。
系統(tǒng)化評估：提出了統(tǒng)一的GameWorldScore標(biāo)準(zhǔn)，從視頻的視覺質(zhì)量、時序質(zhì)量、動作可控性與物理規(guī)則理解四個維度全面量化模型性能。

Matrix-Game-MC數(shù)據(jù)集：自主構(gòu)建的大規(guī)模交互世界數(shù)據(jù)集，包含大規(guī)模無標(biāo)簽的Minecraft游戲視頻和帶有鍵盤與鼠標(biāo)控制信號的Minecraft與Unreal可控視頻數(shù)據(jù)，具備精細(xì)的動作注釋。
Matrix-Game主模型：基于先進(jìn)的擴(kuò)散模型技術(shù)，構(gòu)建了一個從圖像到世界的生成框架，能夠根據(jù)用戶的輸入生成連貫且可控的互動視頻。
GameWorldScore評測體系：從視頻的視覺質(zhì)量、時序質(zhì)量、動作可控性和物理規(guī)則理解四個維度全面量化模型性能，填補(bǔ)了該領(lǐng)域缺乏系統(tǒng)性評測基準(zhǔn)的空白。

兩階段訓(xùn)練策略：第一階段利用大規(guī)模無標(biāo)簽的Minecraft游戲視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，讓模型學(xué)習(xí)環(huán)境的基本特征和動態(tài)規(guī)律；第二階段用帶有鍵盤與鼠標(biāo)控制信號的Minecraft與Unreal可控視頻數(shù)據(jù)進(jìn)行細(xì)粒度的可控訓(xùn)練，讓模型根據(jù)用戶的輸入生成相應(yīng)的交互式視頻。
圖像到世界建模：以單張參考圖像作為生成交互式視頻的起點，不依賴語言提示，基于視覺信號建模空間幾何、物體運動及其物理交互。
自回歸式視頻生成：支持自回歸方式擴(kuò)展生成長度，每次用前一視頻片段的最后幾幀作為運動上下文，逐段遞進(jìn)生成，確保時間上的連貫性。訓(xùn)練中引入隨機(jī)擾動、隨機(jī)刪除及Classifier-freeguidance策略，緩解時序漂移和誤差累積。
可控交互設(shè)計：鍵盤動作用離散token表達(dá)，視角移動動作用連續(xù)token表達(dá)，基于GameFactory的控制模塊，融入多模態(tài)DiffusionTransformer架構(gòu)，用Classifier-freeguidance策略提升對控制信號的魯棒響應(yīng)能力。

Matrix-Game技術(shù)原理.jpg

虛擬游戲世界快速搭建：通過模型的可控生成能力，可低成本、高效率地創(chuàng)建多樣化、結(jié)構(gòu)合理的游戲地圖與交互環(huán)境，提升關(guān)卡設(shè)計與任務(wù)構(gòu)建的自由度。
影視與元宇宙內(nèi)容生產(chǎn)：支持高保真、物理一致的動態(tài)場景合成，為沉浸式體驗開發(fā)與創(chuàng)意內(nèi)容生成提供通用世界建?；A(chǔ)。
具身智能體訓(xùn)練與數(shù)據(jù)生成：盡管當(dāng)前模型未直接用于具身智能，但Matrix-Game具備生成大規(guī)模交互視頻的能力，具備擴(kuò)展至具身智能體訓(xùn)練與評估的潛力，可以為智能體創(chuàng)建多樣復(fù)雜的虛擬環(huán)境，幫助助其任務(wù)執(zhí)行與推理能力的提升。