字節跳動于2025年1月22日開源了一種原生圖形用戶界面（GUI）代理模型：UI-TARS，UI-TARS的名字來源于電影《星際穿越》中的TARS機器人，專為自動化圖形界面交互設計，預示著它具備高度的智能和自主思考能力。

UI-TARS 是什么？

UI-TARS能夠像人類一樣通過屏幕截圖觀察界面，并執行鍵盤、鼠標等操作，模擬人類操作手機和電腦并完成任務并具備高級的感知、推理和交互能力。

UI-TARS目標是通過高度智能化的模型來控制和與用戶界面進行交互，從而向更自然、高效的人機交互方式的轉變。

UI-TARS特征：

• 由視覺語言模型支持的自然語言控制

• 截圖和視覺識別支持

• 精確的鼠標和鍵盤控制

• 跨平臺支持（Windows/MacOS）

• 實時反饋和狀態顯示

UI-TARS功能：

• 自我學習能力：UI-TARS具備自我學習的能力，可以通過不斷的交互和反饋來優化其操作。

• 多平臺支持：該模型不僅適用于PC和MacOS，還能在手機和網頁上運行，具有廣泛的適用性。

• 自然語言處理：UI-TARS能夠將屏幕截圖和自然語言指令作為輸入，準確預測出完成指令的下一步操作，幫助用戶操作UI界面。

• 圖像識別：UI-TARS能夠處理屏幕截圖，識別界面元素并進行相應的操作，這使得它在UI自動化測試和操作中非常有效。

• 增強感知：利用大規模的GUI屏幕截圖數據集，實現對UI元素的上下文感知理解和精確標注。

• 統一動作建模：將跨平臺的動作標準化為統一空間，并通過大規模的動作軌跡實現精確的定位和交互。

• 系統-2推理：將深思熟慮的推理納入多步驟決策，涉及任務分解、反思思維、里程碑識別等多種推理模式。

• 迭代訓練：通過在數百臺虛擬機上自動收集、過濾和反思性地精煉新的交互軌跡，解決數據瓶頸。

UI-TARS應用場景

• 自動化測試：UI-TARS可以用于軟件的自動化測試，幫助開發者快速驗證用戶界面的功能和穩定性。

• 網頁自動化操作：Midscene.js與UI-TARS結合后，支持通過自然語言驅動ai大模型，在當前頁面狀態下進行一系列操作后逼近人類的指令目標。

• 任務自動化：在日常工作中，UI-TARS可以幫助用戶自動執行重復性任務，如數據錄入、信息檢索等，提高工作效率。

• 跨平臺操作：UI-TARS Desktop版本支持Windows和macOS系統，顯示了其在不同操作系統上的廣泛適用性，為用戶提供一致的交互體驗。

• 日常使用與辦公自動化：通過自然語言控制，UI-TARS可以簡化日常辦公任務，如文件管理、應用操作等，提高工作效率。

與傳統依賴模塊化框架或手工提示優化的系統不同，UI-TARS采用端到端架構，依賴純視覺輸入，實現了對復雜任務的全面自動化。UI-TARS不僅僅局限于測試場景，它更側重于日常用戶交互的智能化，通過AI的力量，使得與計算機的交互更加人性化。

UI-TARS項目地址：https://github.com/bytedance/UI-TARS