ReCamMaster 是什么？

ReCamMaster 是由浙江大學(xué)、快手科技、香港中文大學(xué)和華中科技大學(xué)的研究團(tuán)隊(duì)共同開(kāi)發(fā)的一種從單個(gè)視頻生成新視角和運(yùn)動(dòng)軌跡視頻的框架。它能夠通過(guò)重新定義相機(jī)軌跡，從單個(gè)視頻中生成具有新視角和運(yùn)動(dòng)軌跡的視頻內(nèi)容。該技術(shù)的核心在于利用預(yù)訓(xùn)練的文本到視頻生成模型，并通過(guò)一種精心設(shè)計(jì)的視頻條件機(jī)制，實(shí)現(xiàn)高質(zhì)量的視頻重渲染。

ReCamMaster功能特征

• 相機(jī)軌跡控制：支持平移、旋轉(zhuǎn)、縮放等多種復(fù)雜軌跡，用戶可以自定義相機(jī)運(yùn)動(dòng)。

• 高質(zhì)量視頻生成：保持視頻的動(dòng)態(tài)同步性和多幀一致性，生成高質(zhì)量的視頻。

• 大規(guī)模數(shù)據(jù)集支持：使用 Unreal Engine 5 構(gòu)建的多相機(jī)同步視頻數(shù)據(jù)集，覆蓋多樣化場(chǎng)景和相機(jī)運(yùn)動(dòng)。

• 創(chuàng)新的視頻條件機(jī)制：通過(guò)幀維度的條件拼接技術(shù)，顯著提升生成視頻的質(zhì)量。

ReCamMaster應(yīng)用場(chǎng)景

• 視頻穩(wěn)定化：將不穩(wěn)定視頻轉(zhuǎn)換為平滑的視頻，同時(shí)保留原始場(chǎng)景和動(dòng)作。

• 視頻超分辨率和外擴(kuò)：提升視頻分辨率和視野范圍。

• 自動(dòng)駕駛和機(jī)器人視覺(jué)：提供多視角數(shù)據(jù)增強(qiáng)，增強(qiáng)模型的泛化能力。

• 視頻創(chuàng)作和后期制作：重新定義視頻的相機(jī)軌跡，創(chuàng)造新的視覺(jué)效果。

ReCamMaster使用方法

1. 輸入視頻：提供單視角的輸入視頻。

2. 選擇軌跡：選擇或自定義相機(jī)軌跡（如平移、旋轉(zhuǎn)、縮放等）。

3. 生成視頻：系統(tǒng)會(huì)根據(jù)定義的軌跡生成新視角的視頻，并通過(guò)郵件發(fā)送結(jié)果。

4. 批量處理：如需批量處理或?qū)Ρ葴y(cè)試，可聯(lián)系項(xiàng)目團(tuán)隊(duì)（jianhongbai@zju.edu.cn）。

GitHub倉(cāng)庫(kù)：https://github.com/KwaiVGI/ReCamMaster

項(xiàng)目主頁(yè)：https://jianhongbai.github.io/ReCamMaster/

論文：https://arxiv.org/abs/2503.11647