Phantom是字節跳動開發的一種新穎的視頻生成工具，它以面部參考圖像為基礎來生成視頻。在這個過程中，它能精準地保留參考臉部的身份特征，像是面部輪廓、五官比例、表情神態等，同時還能打造出十分生動的視頻內容。

Phantom的特別之處在于，其在視頻生成時對個人特征有著嚴謹的保留能力。比如說，用戶提供一張自己的照片，Phantom生成的視頻里，人物形象就不會出現變形、失真或者和其他元素沖突等情況。這種特性為用戶開辟了一條創造個性化視頻的新途徑。

Phantom的產品功能：

身份保持視頻生成

• 通過面部參考圖像生成視頻，嚴格保留主體身份特征（如人臉、姿態等）。

• 支持根據提示詞動態生成與主體匹配的視頻內容（如動作、場景變化）。

單參考主體視頻生成

• 物體：精準還原參考圖中物品的形態和位置。

• 服裝/虛擬角色：維持服裝紋理、顏色及虛擬角色的動態一致性。

• 動物：模擬動物的行為和交互邏輯。

多參考主體視頻生成

• 群體場景：多人協同動作、對話的動態生成。

• 產品展示：商品在不同場景中的旋轉、試用效果。

• 虛擬試穿：用戶上傳圖片后生成虛擬換裝、試戴效果視頻。

Phantom的技術優勢：

• 高度一致性：主體特征、細節元素在視頻中穩定保持。

• 靈活輸入：支持單圖或多圖參考，降低用戶使用門檻。

• 跨模態對齊：實現圖像與文本描述的精準匹配，提升生成效果。

Phantom的應用場景：

內容創作領域

• 短視頻生成：快速生成個性化短視頻（如虛擬主播、劇情短劇）。

• 廣告營銷：為產品生成動態演示視頻，適配電商、社交媒體推廣。

垂直行業應用

• 教育/培訓：制作虛擬角色教學視頻，增強互動性。

• 影視娛樂：輔助生成低成本的動畫特效或虛擬場景。

• 醫療/科研：模擬手術過程、科學實驗的可視化演示。

用戶個性化需求

• 虛擬試穿：用戶上傳自拍生成服裝、配飾試穿效果。

• 數字分身：基于個人照片創建虛擬形象并進行動態交互。

Phantom的技術突破通過分析不同類型數據間的關聯性（如圖像與場景描述），我們研發出新一代圖像生成技術，讓生成的畫面呈現出更接近真實的質感。即使只提供一張靜態照片，這項技術也能讓虛擬形象自然地動起來——無論是模擬一個人在不同場景中的動作變化，還是讓多個虛擬角色產生互動（比如多人同框對話、商品組合展示），甚至是實現「用戶上傳照片就能試穿衣服」的效果，都變得像魔法一樣直觀。

這種技術特性尤其適合需要動態演示的場景：直播間里實時展示服裝面料質感、教育視頻中讓歷史人物「活過來」講解知識，或是廣告片中讓產品自動演示使用方法，這些原本需要復雜制作的環節，現在都能用更簡單的方式高效實現。

GitHub：https://github.com/Phantom-video/Phantom

論文：https://arxiv.org/abs/2502.11079