Video-R1是什么？

Video-R1是由香港中文大學和清華大學聯合推出的全球首個視頻版R1模型，它可以通過強化學習提升多模態大語言模型（MLLMs）的視頻推理能力。

Video-R1功能

• 時間感知推理：Video-R1引入了T-GRPO算法，通過對比亂序輸入和順序輸入的視頻幀，鼓勵模型利用時間信息進行推理，從而更好地理解視頻中的時序關系。

• 混合數據訓練：為解決高質量視頻推理數據稀缺的問題，Video-R1采用圖像和視頻混合數據集進行訓練，包括Video-R1-COT-165k（用于SFT冷啟動）和Video-R1-260k（用于RL訓練），使模型能夠從靜態圖像推理能力遷移到動態視頻推理。

• 多種輸出類型：Video-R1支持多種答案輸出類型，包括多項選擇、數值、OCR、自由形式和回歸等。

• 自我反思推理行為：模型在推理過程中會進行自我反思，調整推理方向以得出更準確的結論，這種“啊哈時刻”表明模型在積極進行內部反饋循環。

Video-R1技術

• 時間感知算法T-GRPO：該算法增強了模型對時間序列的理解能力，使模型能夠深度思考事件之間的因果關系。與傳統GRPO算法相比，T-GRPO通過獎勵機制綁定時間理解，讓模型在順序輸入上答對題的比例更高時才會獲得獎勵。

• 混合圖像視頻數據集：研究人員創建了兩個高質量數據集：Video-R1-COT-165k（以圖像為主）和Video-R1-260k（以高質量視頻為核心），解決了視頻推理數據稀缺的問題。這種混合訓練方式讓模型從“看圖說話”進化到“視頻深思”，真正實現了多模態理解。

• 強化學習訓練策略：Video-R1通過強化學習訓練，模型在訓練過程中逐漸拋棄次優推理模式，形成更高效、更具邏輯的表達路徑。

Video-R1應用

• 視頻內容分析：Video-R1能夠對視頻中的動態內容進行高效解析和理解，可用于自動生成關鍵視頻片段、行為識別、智能標簽生成等功能。

• 視頻搜索與推薦：通過深度推理，Video-R1可以更精準地理解用戶需求，提供更符合用戶興趣的視頻內容推薦。

• 自動駕駛視覺理解：模型能夠理解視頻中的時序關系和因果邏輯，有助于自動駕駛系統更好地感知和預測道路環境。

• 視頻監控與安全：Video-R1可以用于監控視頻的實時分析，快速識別異常行為或事件，提升公共安全。

• 教育與培訓：在教育領域，Video-R1可以用于智能輔導系統，通過分析教學視頻內容，為學生提供個性化的學習建議。

• 智能家居：模型可以集成到智能家居系統中，通過視頻分析實現更智能的環境感知和自動化控制。

GitHub 地址：https://github.com/tulerfeng/Video-R1

論文：https://arxiv.org/abs/2503.21776