MagicEdit是字節(jié)發(fā)表的視頻剪輯方法，這是一個多模態(tài)框架，是一款主打多模態(tài)輸入生成的多模態(tài)框架，可以將文本、視頻和音頻等不同輸入方式轉(zhuǎn)化為動作信號，從而生成和動畫化一個虛擬人物。

具體來說，MagicAvatar可以通過簡單的文本提示來創(chuàng)建虛擬人物，也可以根據(jù)源視頻生成跟隨給定動作的虛擬人物。此外，MagicAvatar還可以對特定主題的虛擬人物進(jìn)行動畫化。它還將在未來推出根據(jù)音頻輸入創(chuàng)建虛擬人物的功能。

與直接生成視頻的方式不同，MagicAvatar明確地將視頻生成分為兩個階段：

（1）多模式信息到motion

（2）motion到video。

第一階段將多模式輸入轉(zhuǎn)換為motion信息（例如，人體姿勢、深度、密度），而第二階段生成由這些motion信號引導(dǎo)的video。

MagicAvatar通過簡單地提供幾個目標(biāo)人物的圖像來生成視頻。我們通過各種應(yīng)用程序展示了MagicAvatar的靈活性，包括文本引導(dǎo)和視頻引導(dǎo)的化身生成，以及多模式化身動畫。

MagicEdit還支持多種編輯應(yīng)用，包括視頻風(fēng)格化、局部編輯、視頻混合（Video-MagicMix等功能。視頻風(fēng)格化就是能夠?qū)⒃匆曨l轉(zhuǎn)換成具有特定風(fēng)格，創(chuàng)建具有不同主題和背景的新場景，比如現(xiàn)實(shí)、卡通等。

MagicEdit為用戶提供了一款出色的文生視頻編輯工具。用戶只需使用自然語言提示，就能輕松地改變視頻的風(fēng)格、場景，甚至替換視頻中的對象或添加元素，同時保持原視頻的動作和外觀不變。此外，MagicEdit還提供了視頻混合功能，允許用戶創(chuàng)造出全新概念。

另外，MagicAvatar還支持用戶上傳目標(biāo)人物的圖片，來為特定人物生成動畫，實(shí)現(xiàn)個性化需求。

字節(jié)跳動的ai視頻項(xiàng)目：MagicAvatar和MagicEdit，展現(xiàn)了在多模態(tài)輸入和視頻編輯領(lǐng)域的驚人潛力。