提交您的產(chǎn)品 
Ai應用
Ai資訊
AI生圖
AI生視頻
AI生PPT
AI數(shù)字人系統(tǒng)AnimeGamer：通過多模態(tài)大語言模型實現(xiàn)無限動漫生活模擬
AnimeGamer是什么？
AnimeGamer 是騰訊PCG ARC實驗室和香港城市大學聯(lián)合推出的多模態(tài)大語言模型項目。它通過語言指令生成動態(tài)動畫片段，模擬動漫角色的互動與游戲世界。玩家可實時更新角色狀態(tài)，體驗多輪交互，感受沉浸式動漫生活。AnimeGamer只要應用在游戲、故事創(chuàng)作、教育等場景上。
AnimeGamer功能特點
動態(tài)動畫生成：能夠生成動態(tài)動畫片段，展示角色的動作和行為。
角色狀態(tài)更新：系統(tǒng)會根據(jù)游戲狀態(tài)更新角色的體力、社交和娛樂值。
多輪交互：支持多輪游戲狀態(tài)生成，玩家可以通過語言指令與游戲世界進行持續(xù)互動。
上下文一致性：生成的游戲狀態(tài)在視覺和語義上保持一致性，確保玩家的沉浸感。
AnimeGamer工作原理
動畫片段編碼與解碼：使用動畫片段編碼器將動畫片段編碼為動作感知的多模態(tài)表示，然后通過基于視頻擴散模型的解碼器將這些表示解碼為高質(zhì)量的視頻片段。
游戲狀態(tài)預測：利用 MLLM 預測每個游戲狀態(tài)的多模態(tài)表示，輸入包括歷史動畫片段表示和當前指令。MLLM 輸出包括動態(tài)動畫片段和角色狀態(tài)更新。
解碼器自適應訓練：通過自適應訓練階段，優(yōu)化解碼器以生成高質(zhì)量的視頻片段，減少生成視頻中的偽影。
AnimeGamer應用場景
動漫角色互動游戲：玩家可以扮演動漫電影中的角色，通過語言指令與游戲世界互動。
故事創(chuàng)作與可視化：可用于創(chuàng)作和可視化故事，生成連貫的動畫片段，支持多輪交互。
教育與培訓：在教育和培訓場景中，可以生成動態(tài)的模擬環(huán)境，幫助學生更好地理解和參與學習內(nèi)容。
娛樂與互動體驗：可用于開發(fā)新的娛樂和互動體驗，如虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）應用。
AnimeGamer使用教程
1. 下載AnimeGamer和Mistral-7B的檢查點，并保存在./checkpoints文件夾中。
2. 設置推理環(huán)境，運行以下命令：
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. 生成動作感知的多模態(tài)表示并更新角色狀態(tài)：
python inference_Decoder.py
4. 修改./game_demo中的指令來自定義游戲體驗。
相關鏈接
項目主頁：https://howe125.github.io/AnimeGamer.github.io
GitHub：https://github.com/TencentARC/AnimeGamer
模型：https://huggingface.co/TencentARC/AnimeGamer
論文：https://arxiv.org/abs/2504.01014
