Magma：微軟推出的多模態(tài)AI代理基礎(chǔ)模型，可實(shí)現(xiàn)多場景代理

映技派于2025-03-12發(fā)布在Ai產(chǎn)品

Magma是什么？

Magma 是微軟推出的一款多模態(tài) ai 代理基礎(chǔ)模型，能夠處理虛擬和現(xiàn)實(shí)環(huán)境中的復(fù)雜交互，實(shí)現(xiàn)圖像字幕和問答、視頻字幕和問答、UI導(dǎo)航、機(jī)器人操作等多種任務(wù)。

Magma功能特點(diǎn)

多模態(tài)能力：支持圖像字幕和問答、視頻字幕和問答、UI 導(dǎo)航、機(jī)器人操作等任務(wù)。
數(shù)字與物理世界的交互：能夠處理虛擬和現(xiàn)實(shí)環(huán)境中的任務(wù)。
多功能性：單一模型具備通用的圖像和視頻理解能力，同時能生成目標(biāo)驅(qū)動的視覺計劃和動作。
先進(jìn)性能：在多模態(tài)任務(wù)上表現(xiàn)出色，特別是在空間理解和推理方面。
可擴(kuò)展的預(yù)訓(xùn)練策略：能夠從未標(biāo)記的視頻中學(xué)習(xí)，具有很強(qiáng)的泛化能力。

Magma的技術(shù)原理

多模態(tài)預(yù)訓(xùn)練：結(jié)合圖像、視頻和動作數(shù)據(jù)，通過統(tǒng)一框架進(jìn)行大規(guī)模預(yù)訓(xùn)練，學(xué)習(xí)跨模態(tài)的連接。
Set-of-Mark (SoM)：標(biāo)記圖像中的可操作對象，幫助模型實(shí)現(xiàn)動作落地。
Trace-of-Mark (ToM)：標(biāo)記視頻中物體的運(yùn)動軌跡，增強(qiáng)時間動態(tài)理解能力。
視覺與語言結(jié)合：使用卷積網(wǎng)絡(luò)將視覺信息編碼為標(biāo)記序列，與語言模型結(jié)合，生成動作或語言描述。
泛化與微調(diào)：預(yù)訓(xùn)練后的模型具備零樣本泛化能力，可通過微調(diào)進(jìn)一步提升性能。
跨任務(wù)適應(yīng)：適用于多種任務(wù)（如UI導(dǎo)航、機(jī)器人操作、圖像和視頻理解），展現(xiàn)出強(qiáng)大的泛化能力。

Magma的技術(shù)原理.jpg

安裝與使用

克隆項(xiàng)目：

git clone https://github.com/microsoft/Magma.git
cd Magma

安裝依賴：

conda create -n magma python=3.10 -y
conda activate magma
pip install --upgrade pip
pip install -e .

推理例子

from PIL import Image
import torch
from transformers import AutoModelForCausalLM, AutoProcessor
model = AutoModelForCausalLM.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
model.to("cuda")
image = Image.open("example.jpg").convert("RGB")
convs = [
    {"role": "system", "content": "You are an agent that can see, talk and act."},
    {"role": "user", "content": "\nWhat is in the image?"}
]
prompt = processor.tokenizer.apply_chat_template(convs, tokenize=False, add_generation_prompt=True)
inputs = processor(images=[image], texts=prompt, return_tensors="pt").to("cuda")
with torch.inference_mode():
    generate_ids = model.generate(**inputs)
response = processor.decode(generate_ids[0], skip_special_tokens=True).strip()
print(response)