字節(jié)跳動于2025年1月22日開源了一種原生圖形用戶界面（GUI）代理模型：UI-TARS，UI-TARS的名字來源于電影《星際穿越》中的TARS機器人，專為自動化圖形界面交互設(shè)計，預示著它具備高度的智能和自主思考能力。

UI-TARS 是什么？

UI-TARS能夠像人類一樣通過屏幕截圖觀察界面，并執(zhí)行鍵盤、鼠標等操作，模擬人類操作手機和電腦并完成任務(wù)并具備高級的感知、推理和交互能力。

UI-TARS目標是通過高度智能化的模型來控制和與用戶界面進行交互，從而向更自然、高效的人機交互方式的轉(zhuǎn)變。

UI-TARS特征：

• 由視覺語言模型支持的自然語言控制

• 截圖和視覺識別支持

• 精確的鼠標和鍵盤控制

• 跨平臺支持（Windows/MacOS）

• 實時反饋和狀態(tài)顯示

UI-TARS功能：

• 自我學習能力：UI-TARS具備自我學習的能力，可以通過不斷的交互和反饋來優(yōu)化其操作。

• 多平臺支持：該模型不僅適用于PC和MacOS，還能在手機和網(wǎng)頁上運行，具有廣泛的適用性。

• 自然語言處理：UI-TARS能夠?qū)⑵聊唤貓D和自然語言指令作為輸入，準確預測出完成指令的下一步操作，幫助用戶操作UI界面。

• 圖像識別：UI-TARS能夠處理屏幕截圖，識別界面元素并進行相應的操作，這使得它在UI自動化測試和操作中非常有效。

• 增強感知：利用大規(guī)模的GUI屏幕截圖數(shù)據(jù)集，實現(xiàn)對UI元素的上下文感知理解和精確標注。

• 統(tǒng)一動作建模：將跨平臺的動作標準化為統(tǒng)一空間，并通過大規(guī)模的動作軌跡實現(xiàn)精確的定位和交互。

• 系統(tǒng)-2推理：將深思熟慮的推理納入多步驟決策，涉及任務(wù)分解、反思思維、里程碑識別等多種推理模式。

• 迭代訓練：通過在數(shù)百臺虛擬機上自動收集、過濾和反思性地精煉新的交互軌跡，解決數(shù)據(jù)瓶頸。

UI-TARS應用場景

• 自動化測試：UI-TARS可以用于軟件的自動化測試，幫助開發(fā)者快速驗證用戶界面的功能和穩(wěn)定性。

• 網(wǎng)頁自動化操作：Midscene.js與UI-TARS結(jié)合后，支持通過自然語言驅(qū)動ai大模型，在當前頁面狀態(tài)下進行一系列操作后逼近人類的指令目標。

• 任務(wù)自動化：在日常工作中，UI-TARS可以幫助用戶自動執(zhí)行重復性任務(wù)，如數(shù)據(jù)錄入、信息檢索等，提高工作效率。

• 跨平臺操作：UI-TARS Desktop版本支持Windows和macOS系統(tǒng)，顯示了其在不同操作系統(tǒng)上的廣泛適用性，為用戶提供一致的交互體驗。

• 日常使用與辦公自動化：通過自然語言控制，UI-TARS可以簡化日常辦公任務(wù)，如文件管理、應用操作等，提高工作效率。

與傳統(tǒng)依賴模塊化框架或手工提示優(yōu)化的系統(tǒng)不同，UI-TARS采用端到端架構(gòu)，依賴純視覺輸入，實現(xiàn)了對復雜任務(wù)的全面自動化。UI-TARS不僅僅局限于測試場景，它更側(cè)重于日常用戶交互的智能化，通過AI的力量，使得與計算機的交互更加人性化。

UI-TARS項目地址：https://github.com/bytedance/UI-TARS