LivePortrait，利用AI技術將靜態照片轉換為視頻，展現逼真的面部表情和動作。LivePortrait開源項目來自中國快手科技和復旦大學，使用經過特殊訓練的模型，可以將視頻或網絡攝像頭中的動畫轉換為動畫，并將動作轉換為圖像或照片。

LivePortrait 利用基于隱式關鍵點的框架從單個源圖像創建逼真的視頻動畫。這種方法平衡了計算效率和可控性，使其成為各種應用的實用工具。

LivePortrait的Comfyui版本：https://github.com/shadowcz007/comfyui-liveportrait

LivePortrait功能征：

• 將靜態照片轉換為動畫視頻；

• 生成逼真的面部表情和動作；

• 支持不同風格的動畫生成；

• 允許用戶上傳視頻并同步面部動作。

• 提供個性化視頻溝通工具，提升溝通效果；

LivePortrait 如何生成 AI 內容

LivePortrait 的動畫過程涉及兩個階段的訓練流程：

第一階段：基礎模型訓練

在第一階段，從頭開始訓練基礎模型。此階段涉及優化外觀提取器（F）、運動提取器(M)、變形模塊(W)和解碼器(G)。這些組件協同工作，分別從源圖像和駕駛視頻中提取和合成外觀和運動。

第二階段：拼接和重定向模塊培訓

在第二階段，之前訓練的組件被凍結，重點轉移到優化拼接和重定向模塊。這些模塊通過對眼睛和嘴唇等特定面部特征提供更精細的控制來提高動畫質量，從而實現更詳細和更具表現力的動畫。

LivePortrait 的主要特點

效率和速度：LivePortrait 實現了驚人的生成速度，在使用 PyTorch 的 RTX 4090 GPU 上達到每幀 12.8 毫秒。這種效率使其適合實時應用。

高品質動畫：通過將訓練數據擴展至約6900萬個高質量幀并采用混合圖像視頻訓練策略，LivePortrait確保了卓越的動畫質量和泛化能力。

先進的可控性：拼接和重定向模塊可以精確控制面部特征，從而實現詳細的動畫。用戶可以控制眼睛和嘴唇運動的程度，增強生成視頻的真實感。

多功能性：LivePortrait支持寫實、油畫、雕塑、3D渲染等多種風格。這種多功能性使其適用于從創意內容到專業視頻制作的廣泛應用。

LivePortrait應用群體

內容創作者和影響者：LivePortrait 使內容創作者和影響者能夠從單個圖像生成高質量的動畫視頻，通過逼真的動畫增強其內容。

電影制片人和動畫師：專業電影制作人和動畫師可以使用 LivePortrait 高效創建逼真的角色動畫，從而節省制作過程中的時間和資源。

營銷人員和廣告商：營銷人員和廣告商可以利用 LivePortrait 制作引人入勝的動態視頻廣告，通過逼真的動畫吸引觀眾的注意力。

教育工作者和電子學習開發人員：教育內容可以通過動畫肖像變得更具互動性和吸引力，從而使學習材料對學生更具吸引力。

游戲開發商：游戲開發者可以使用 LivePortrait 創建逼真的角色動畫，通過逼真的表情和動作增強整體游戲體驗。

LivePortrait的Comfyui版本：

Liveportrait comfyui：https://github.com/shadowcz007/comfyui-liveportrait