Magic Animate是一項開創性的開源項目，簡化了動畫創作，允許您從單個圖像和動態視頻制作動畫視頻，簡單來說，給定一張參考圖像和一個姿態序列（視頻），它可以生成一個跟隨姿態運動，并保持參考圖像身份特征的動畫視頻。由新加坡國立大學的Show Lab和字節跳動打造。

Magic Animate在所有舞蹈視頻解決方案中提供最高的一致性，但是Magic Animate 面部和手部可能會出現一些扭曲。默認配置可能會導致從動漫到寫實主義的風格轉變，尤其是在視頻中的面部。將動漫風格應用于默認的DensePose驅動視頻也會影響身體比例。

Magic Animate官網地址：www.magicanimate.org

MagicAnimate 的核心功能：

• 從單個圖像和動態視頻創建動畫

• 保持時間一致性

• 保留參考圖像

• 增強動畫保真度

• 與DALLE3等T2I擴散模型集成

• 跨標識動畫和來自未知領域的動畫

• 以文本提示圖像動畫

• 在舞蹈視頻解決方案中保持高一致性

MagicAnimate 如何使用？

要使用Magic Animate，您需要下載StableDiffusion V1.5和MSE-finetuned VAE的預訓練基礎模型。然后，您可以安裝必要的依賴項并激活conda環境。然后上傳一張靜態人物照片，上傳想要生成的動作demo視頻，調整參數。之后，您可以在Huggingface或Replicate上嘗試在線演示。另外，您還可以使用Replicate API以編程方式生成動畫視頻。