StereoCrafter是一個由騰訊ai實驗室開發的能將普通的2D視頻轉換為沉浸式的立體3D視頻的開源框架。

StereoCrafter的框架由兩個主要步驟組成：深度基于視頻噴濺和立體視頻修復。首先，通過深度估計從輸入的單視角視頻中提取深度信息，并利用該信息進行視頻的變形和遮擋掩碼的生成。接著，使用立體視頻修復模型填補變形視頻中的空白區域，從而合成右視圖視頻。這種方法不僅提高了生成的3D視頻的質量，還確保了在不同長度和分辨率的視頻輸入下的靈活性和適應性。

此外，StereoCrafter還支持多種視頻源，包括電影、視頻博客、3D卡通和AI生成內容（AIGC）視頻，進一步擴展了其應用范圍。StereoCrafter的設計目的在于滿足日益增長的3D內容需求，尤其是在沉浸式體驗領域，能夠為用戶提供更為豐富的視覺體驗。

StereoCrafter其主要功能：

• 視頻轉換：StereoCrafter能夠將任何2D視頻轉換為高保真的立體3D視頻，支持多種顯示設備，如3D眼鏡和Apple Vision Pro等。

• 深度估計：StereoCrafter通過深度估計技術，分析視頻中的深度信息，從而生成具有真實感的3D效果。

• 視頻修復：StereoCrafter還包括立體視頻修復功能，能夠處理視頻中的遮擋和其他視覺問題，確保生成的視頻質量高且連貫。

• 多種格式支持：生成的視頻可以以紅藍、VR或左右格式輸出，適應不同的觀看需求和設備。

• 高效性能：StereoCrafter經過優化，能夠快速處理視頻。

StereoCrafter應用場景

StereoCrafter適用于電影、視頻博客、3D動畫和AIGC視頻等多種視頻源，能夠在3D眼鏡、Apple Vision Pro和3D顯示器等設備上呈現立體效果。

• 電影制作：在電影和視頻制作中，StereoCrafter可以幫助創作者將傳統的2D影片轉化為3D版本。

• 視頻博客和內容創作：內容創作者可以利用StereoCrafter將他們的2D視頻內容轉化為3D。

• 教育和培訓：在教育領域，立體視頻可以提供更具沉浸感的學習體驗。

• 虛擬現實和增強現實：StereoCrafter生成的3D視頻可以用于VR和AR應用。

使用StereoCrafter進行視頻轉換的步驟和方法:

1. 準備工作

在開始之前，確保你有以下準備：

• 單目視頻素材：選擇你想要轉換的2D視頻，確保視頻質量符合要求。

• 軟件安裝：訪問StereoCrafter的官方網站，下載并安裝所需的軟件或模型。

2. 深度估計

使用StereoCrafter的深度估計功能來生成視頻的深度信息。這一步驟是將2D視頻轉換為3D視頻的關鍵，具體步驟如下：

• 導入你的視頻素材到StereoCrafter。

• 運行深度估計算法，生成視頻的深度圖。這些深度圖將用于后續的3D重建。

3. 視頻重貼圖

在獲得深度信息后，進行視頻的重貼圖處理：

• 基于深度信息對視頻進行重新貼圖，提取遮擋信息的同時進行視頻變換。

• 這一步驟確保了在轉換過程中，物體的遮擋關系得到正確處理。

4. 立體視頻修復

完成重貼圖后，進行立體視頻的修復：

• 使用經過預訓練的穩定視頻擴散模型，修復生成的立體視頻，確保視頻的質量和連貫性。

• 這一步驟可以消除可能出現的偽影和不連續的邊界。

5. 輸出和播放

• 最后，輸出生成的3D視頻：

• 選擇合適的輸出格式（如紅藍、VR或左右格式），以便在不同的3D顯示設備上播放。

• 你可以在Apple Vision Pro等設備上播放生成的視頻，享受沉浸式的觀看體驗。

通過以上步驟，你可以使用StereoCrafter將普通的2D視頻成功轉換為高質量的立體3D視頻。

StereoCrafter項目主頁：https://stereocrafter.github.io/

Github代碼庫：https://github.com/TencentARC/StereoCrafter

ArXiv技術論文：https://arxiv.org/pdf/2409.07447