StereoCrafter是一個(gè)由騰訊ai實(shí)驗(yàn)室開(kāi)發(fā)的能將普通的2D視頻轉(zhuǎn)換為沉浸式的立體3D視頻的開(kāi)源框架。

StereoCrafter的框架由兩個(gè)主要步驟組成：深度基于視頻噴濺和立體視頻修復(fù)。首先，通過(guò)深度估計(jì)從輸入的單視角視頻中提取深度信息，并利用該信息進(jìn)行視頻的變形和遮擋掩碼的生成。接著，使用立體視頻修復(fù)模型填補(bǔ)變形視頻中的空白區(qū)域，從而合成右視圖視頻。這種方法不僅提高了生成的3D視頻的質(zhì)量，還確保了在不同長(zhǎng)度和分辨率的視頻輸入下的靈活性和適應(yīng)性。

此外，StereoCrafter還支持多種視頻源，包括電影、視頻博客、3D卡通和AI生成內(nèi)容（AIGC）視頻，進(jìn)一步擴(kuò)展了其應(yīng)用范圍。StereoCrafter的設(shè)計(jì)目的在于滿足日益增長(zhǎng)的3D內(nèi)容需求，尤其是在沉浸式體驗(yàn)領(lǐng)域，能夠?yàn)橛脩籼峁└鼮樨S富的視覺(jué)體驗(yàn)。

StereoCrafter其主要功能：

• 視頻轉(zhuǎn)換：StereoCrafter能夠?qū)⑷魏?D視頻轉(zhuǎn)換為高保真的立體3D視頻，支持多種顯示設(shè)備，如3D眼鏡和Apple Vision Pro等。

• 深度估計(jì)：StereoCrafter通過(guò)深度估計(jì)技術(shù)，分析視頻中的深度信息，從而生成具有真實(shí)感的3D效果。

• 視頻修復(fù)：StereoCrafter還包括立體視頻修復(fù)功能，能夠處理視頻中的遮擋和其他視覺(jué)問(wèn)題，確保生成的視頻質(zhì)量高且連貫。

• 多種格式支持：生成的視頻可以以紅藍(lán)、VR或左右格式輸出，適應(yīng)不同的觀看需求和設(shè)備。

• 高效性能：StereoCrafter經(jīng)過(guò)優(yōu)化，能夠快速處理視頻。

StereoCrafter應(yīng)用場(chǎng)景

StereoCrafter適用于電影、視頻博客、3D動(dòng)畫(huà)和AIGC視頻等多種視頻源，能夠在3D眼鏡、Apple Vision Pro和3D顯示器等設(shè)備上呈現(xiàn)立體效果。

• 電影制作：在電影和視頻制作中，StereoCrafter可以幫助創(chuàng)作者將傳統(tǒng)的2D影片轉(zhuǎn)化為3D版本。

• 視頻博客和內(nèi)容創(chuàng)作：內(nèi)容創(chuàng)作者可以利用StereoCrafter將他們的2D視頻內(nèi)容轉(zhuǎn)化為3D。

• 教育和培訓(xùn)：在教育領(lǐng)域，立體視頻可以提供更具沉浸感的學(xué)習(xí)體驗(yàn)。

• 虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)：StereoCrafter生成的3D視頻可以用于VR和AR應(yīng)用。

使用StereoCrafter進(jìn)行視頻轉(zhuǎn)換的步驟和方法:

1. 準(zhǔn)備工作

在開(kāi)始之前，確保你有以下準(zhǔn)備：

• 單目視頻素材：選擇你想要轉(zhuǎn)換的2D視頻，確保視頻質(zhì)量符合要求。

• 軟件安裝：訪問(wèn)StereoCrafter的官方網(wǎng)站，下載并安裝所需的軟件或模型。

2. 深度估計(jì)

使用StereoCrafter的深度估計(jì)功能來(lái)生成視頻的深度信息。這一步驟是將2D視頻轉(zhuǎn)換為3D視頻的關(guān)鍵，具體步驟如下：

• 導(dǎo)入你的視頻素材到StereoCrafter。

• 運(yùn)行深度估計(jì)算法，生成視頻的深度圖。這些深度圖將用于后續(xù)的3D重建。

3. 視頻重貼圖

在獲得深度信息后，進(jìn)行視頻的重貼圖處理：

• 基于深度信息對(duì)視頻進(jìn)行重新貼圖，提取遮擋信息的同時(shí)進(jìn)行視頻變換。

• 這一步驟確保了在轉(zhuǎn)換過(guò)程中，物體的遮擋關(guān)系得到正確處理。

4. 立體視頻修復(fù)

完成重貼圖后，進(jìn)行立體視頻的修復(fù)：

• 使用經(jīng)過(guò)預(yù)訓(xùn)練的穩(wěn)定視頻擴(kuò)散模型，修復(fù)生成的立體視頻，確保視頻的質(zhì)量和連貫性。

• 這一步驟可以消除可能出現(xiàn)的偽影和不連續(xù)的邊界。

5. 輸出和播放

• 最后，輸出生成的3D視頻：

• 選擇合適的輸出格式（如紅藍(lán)、VR或左右格式），以便在不同的3D顯示設(shè)備上播放。

• 你可以在Apple Vision Pro等設(shè)備上播放生成的視頻，享受沉浸式的觀看體驗(yàn)。

通過(guò)以上步驟，你可以使用StereoCrafter將普通的2D視頻成功轉(zhuǎn)換為高質(zhì)量的立體3D視頻。

StereoCrafter項(xiàng)目主頁(yè)：https://stereocrafter.github.io/

Github代碼庫(kù)：https://github.com/TencentARC/StereoCrafter

ArXiv技術(shù)論文：https://arxiv.org/pdf/2409.07447