提交您的產品 
Ai應用
Ai資訊
AI生圖
AI生視頻
開源AI應用平臺AnimeGamer：通過多模態大語言模型實現無限動漫生活模擬
AnimeGamer是什么？
AnimeGamer 是騰訊PCG ARC實驗室和香港城市大學聯合推出的多模態大語言模型項目。它通過語言指令生成動態動畫片段，模擬動漫角色的互動與游戲世界。玩家可實時更新角色狀態，體驗多輪交互，感受沉浸式動漫生活。AnimeGamer只要應用在游戲、故事創作、教育等場景上。
AnimeGamer功能特點
動態動畫生成：能夠生成動態動畫片段，展示角色的動作和行為。
角色狀態更新：系統會根據游戲狀態更新角色的體力、社交和娛樂值。
多輪交互：支持多輪游戲狀態生成，玩家可以通過語言指令與游戲世界進行持續互動。
上下文一致性：生成的游戲狀態在視覺和語義上保持一致性，確保玩家的沉浸感。
AnimeGamer工作原理
動畫片段編碼與解碼：使用動畫片段編碼器將動畫片段編碼為動作感知的多模態表示，然后通過基于視頻擴散模型的解碼器將這些表示解碼為高質量的視頻片段。
游戲狀態預測：利用 MLLM 預測每個游戲狀態的多模態表示，輸入包括歷史動畫片段表示和當前指令。MLLM 輸出包括動態動畫片段和角色狀態更新。
解碼器自適應訓練：通過自適應訓練階段，優化解碼器以生成高質量的視頻片段，減少生成視頻中的偽影。
AnimeGamer應用場景
動漫角色互動游戲：玩家可以扮演動漫電影中的角色，通過語言指令與游戲世界互動。
故事創作與可視化：可用于創作和可視化故事，生成連貫的動畫片段，支持多輪交互。
教育與培訓：在教育和培訓場景中，可以生成動態的模擬環境，幫助學生更好地理解和參與學習內容。
娛樂與互動體驗：可用于開發新的娛樂和互動體驗，如虛擬現實（VR）和增強現實（AR）應用。
AnimeGamer使用教程
1. 下載AnimeGamer和Mistral-7B的檢查點，并保存在./checkpoints文件夾中。
2. 設置推理環境，運行以下命令：
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. 生成動作感知的多模態表示并更新角色狀態：
python inference_Decoder.py
4. 修改./game_demo中的指令來自定義游戲體驗。
相關鏈接
項目主頁：https://howe125.github.io/AnimeGamer.github.io
GitHub：https://github.com/TencentARC/AnimeGamer
模型：https://huggingface.co/TencentARC/AnimeGamer
論文：https://arxiv.org/abs/2504.01014
