Cradle是什么？

Cradle是一個通用計算機控制（General Computer Control, GCC）的多模態ai框架，由昆侖萬維、北京智源人工智能研究院等機構聯合推出。它通過屏幕截圖作為輸入，鍵盤和鼠標操作作為輸出，使AI代理能夠像人類一樣直接控制計算機完成各種任務。Cradle具備信息收集、自我反思、任務推斷、技能策劃、動作規劃和記憶管理等核心功能，能夠廣泛應用于游戲、日常軟件操作和專業軟件操作等場景。

Cradle核心功能

• 信息收集：從屏幕圖像和音頻中提取多模態信息，用于決策。

• 自我反思：評估先前行動的成功與否，分析失敗原因，以指導后續行動。

• 任務推斷：根據當前環境和歷史信息，推斷并選擇最佳的下一個任務。

• 技能策劃：生成和更新與給定任務相關的技能，以適應不同的計算機操作需求。

• 動作規劃：為鍵盤和鼠標控制生成具體操作，將策略轉化為可執行的命令。

• 記憶與知識管理：擁有長期和短期記憶系統，存儲過去的經驗和技能，在需要時進行檢索和應用。

Cradle應用場景

• 游戲環境：如《荒野大鏢客2》《星露谷物語》《城市天際線》等。

• 日常軟件操作：如瀏覽器、郵件客戶端、辦公軟件等。

• 專業軟件操作：如圖形設計或視頻編輯軟件。

Cradle技術原理

• 多模態輸入處理：接收并處理屏幕圖像和音頻的多模態輸入，模擬人類感知方式理解計算機界面和環境。

• 信息提取與理解：利用大型多模態模型（如GPT-4V）識別圖像中的視覺元素、文本信息和音頻中的指令或反饋。

• 自我反思機制：通過反思模塊評估之前執行動作是否成功，并分析失敗原因。

• 任務推斷與規劃：確定當前的優先任務，并制定出新動作完成任務。

• 技能生成與更新：根據當前任務生成新的技能或更新現有技能。

Cradle特點

• 通用性：不依賴任何內部API，能夠與任意開閉源軟件交互。

• 強大的推理能力：基于大型語言模型，能夠進行復雜任務規劃和執行。

• 自我改進：通過自我反思機制不斷優化性能。

• 技能積累：可以逐步積累和復用各種操作技能。

Cradle已成功應用于《荒野大鏢客2》、《星露谷物語》、《城市：天際線》等游戲，以及Chrome瀏覽器、Outlook郵箱等軟件。

Cradle相關鏈接

Cradle項目主頁：https://baai-agents.github.io/Cradle/

Cradle代碼倉庫：https://github.com/BAAI-Agents/Cradle

Cradle論文：https://arxiv.org/abs/2403.03186