MagicEdit是字節發表的視頻剪輯方法，這是一個多模態框架，是一款主打多模態輸入生成的多模態框架，可以將文本、視頻和音頻等不同輸入方式轉化為動作信號，從而生成和動畫化一個虛擬人物。

具體來說，MagicAvatar可以通過簡單的文本提示來創建虛擬人物，也可以根據源視頻生成跟隨給定動作的虛擬人物。此外，MagicAvatar還可以對特定主題的虛擬人物進行動畫化。它還將在未來推出根據音頻輸入創建虛擬人物的功能。

與直接生成視頻的方式不同，MagicAvatar明確地將視頻生成分為兩個階段：

（1）多模式信息到motion

（2）motion到video。

第一階段將多模式輸入轉換為motion信息（例如，人體姿勢、深度、密度），而第二階段生成由這些motion信號引導的video。

MagicAvatar通過簡單地提供幾個目標人物的圖像來生成視頻。我們通過各種應用程序展示了MagicAvatar的靈活性，包括文本引導和視頻引導的化身生成，以及多模式化身動畫。

MagicEdit還支持多種編輯應用，包括視頻風格化、局部編輯、視頻混合（Video-MagicMix等功能。視頻風格化就是能夠將源視頻轉換成具有特定風格，創建具有不同主題和背景的新場景，比如現實、卡通等。

MagicEdit為用戶提供了一款出色的文生視頻編輯工具。用戶只需使用自然語言提示，就能輕松地改變視頻的風格、場景，甚至替換視頻中的對象或添加元素，同時保持原視頻的動作和外觀不變。此外，MagicEdit還提供了視頻混合功能，允許用戶創造出全新概念。

另外，MagicAvatar還支持用戶上傳目標人物的圖片，來為特定人物生成動畫，實現個性化需求。

字節跳動的ai視頻項目：MagicAvatar和MagicEdit，展現了在多模態輸入和視頻編輯領域的驚人潛力。