ReCamMaster:一種從單個視頻生成新視角和運動軌跡視頻的框架
ReCamMaster 是什么?
ReCamMaster 是由浙江大學、快手科技、香港中文大學和華中科技大學的研究團隊共同開發的一種從單個視頻生成新視角和運動軌跡視頻的框架。它能夠通過重新定義相機軌跡,從單個視頻中生成具有新視角和運動軌跡的視頻內容。該技術的核心在于利用預訓練的文本到視頻生成模型,并通過一種精心設計的視頻條件機制,實現高質量的視頻重渲染。
ReCamMaster功能特征
相機軌跡控制:支持平移、旋轉、縮放等多種復雜軌跡,用戶可以自定義相機運動。
高質量視頻生成:保持視頻的動態同步性和多幀一致性,生成高質量的視頻。
大規模數據集支持:使用 Unreal Engine 5 構建的多相機同步視頻數據集,覆蓋多樣化場景和相機運動。
創新的視頻條件機制:通過幀維度的條件拼接技術,顯著提升生成視頻的質量。
ReCamMaster應用場景
視頻穩定化:將不穩定視頻轉換為平滑的視頻,同時保留原始場景和動作。
視頻超分辨率和外擴:提升視頻分辨率和視野范圍。
自動駕駛和機器人視覺:提供多視角數據增強,增強模型的泛化能力。
視頻創作和后期制作:重新定義視頻的相機軌跡,創造新的視覺效果。
ReCamMaster使用方法
輸入視頻:提供單視角的輸入視頻。
選擇軌跡:選擇或自定義相機軌跡(如平移、旋轉、縮放等)。
生成視頻:系統會根據定義的軌跡生成新視角的視頻,并通過郵件發送結果。
批量處理:如需批量處理或對比測試,可聯系項目團隊(jianhongbai@zju.edu.cn)。
GitHub倉庫:https://github.com/KwaiVGI/ReCamMaster
項目主頁:https://jianhongbai.github.io/ReCamMaster/
論文:https://arxiv.org/abs/2503.11647