Phantom是字節(jié)跳動開發(fā)的一種新穎的視頻生成工具，它以面部參考圖像為基礎來生成視頻。在這個過程中，它能精準地保留參考臉部的身份特征，像是面部輪廓、五官比例、表情神態(tài)等，同時還能打造出十分生動的視頻內(nèi)容。

Phantom的特別之處在于，其在視頻生成時對個人特征有著嚴謹?shù)谋Ａ裟芰Α１热缯f，用戶提供一張自己的照片，Phantom生成的視頻里，人物形象就不會出現(xiàn)變形、失真或者和其他元素沖突等情況。這種特性為用戶開辟了一條創(chuàng)造個性化視頻的新途徑。

Phantom的產(chǎn)品功能：

身份保持視頻生成

• 通過面部參考圖像生成視頻，嚴格保留主體身份特征（如人臉、姿態(tài)等）。

• 支持根據(jù)提示詞動態(tài)生成與主體匹配的視頻內(nèi)容（如動作、場景變化）。

單參考主體視頻生成

• 物體：精準還原參考圖中物品的形態(tài)和位置。

• 服裝/虛擬角色：維持服裝紋理、顏色及虛擬角色的動態(tài)一致性。

• 動物：模擬動物的行為和交互邏輯。

多參考主體視頻生成

• 群體場景：多人協(xié)同動作、對話的動態(tài)生成。

• 產(chǎn)品展示：商品在不同場景中的旋轉(zhuǎn)、試用效果。

• 虛擬試穿：用戶上傳圖片后生成虛擬換裝、試戴效果視頻。

Phantom的技術優(yōu)勢：

• 高度一致性：主體特征、細節(jié)元素在視頻中穩(wěn)定保持。

• 靈活輸入：支持單圖或多圖參考，降低用戶使用門檻。

• 跨模態(tài)對齊：實現(xiàn)圖像與文本描述的精準匹配，提升生成效果。

Phantom的應用場景：

內(nèi)容創(chuàng)作領域

• 短視頻生成：快速生成個性化短視頻（如虛擬主播、劇情短劇）。

• 廣告營銷：為產(chǎn)品生成動態(tài)演示視頻，適配電商、社交媒體推廣。

垂直行業(yè)應用

• 教育/培訓：制作虛擬角色教學視頻，增強互動性。

• 影視娛樂：輔助生成低成本的動畫特效或虛擬場景。

• 醫(yī)療/科研：模擬手術過程、科學實驗的可視化演示。

用戶個性化需求

• 虛擬試穿：用戶上傳自拍生成服裝、配飾試穿效果。

• 數(shù)字分身：基于個人照片創(chuàng)建虛擬形象并進行動態(tài)交互。

Phantom的技術突破通過分析不同類型數(shù)據(jù)間的關聯(lián)性（如圖像與場景描述），我們研發(fā)出新一代圖像生成技術，讓生成的畫面呈現(xiàn)出更接近真實的質(zhì)感。即使只提供一張靜態(tài)照片，這項技術也能讓虛擬形象自然地動起來——無論是模擬一個人在不同場景中的動作變化，還是讓多個虛擬角色產(chǎn)生互動（比如多人同框?qū)υ挕⑸唐方M合展示），甚至是實現(xiàn)「用戶上傳照片就能試穿衣服」的效果，都變得像魔法一樣直觀。

這種技術特性尤其適合需要動態(tài)演示的場景：直播間里實時展示服裝面料質(zhì)感、教育視頻中讓歷史人物「活過來」講解知識，或是廣告片中讓產(chǎn)品自動演示使用方法，這些原本需要復雜制作的環(huán)節(jié)，現(xiàn)在都能用更簡單的方式高效實現(xiàn)。

GitHub：https://github.com/Phantom-video/Phantom

論文：https://arxiv.org/abs/2502.11079