騰訊和上交大出的，MimicMotion可以生成任意長度、具有任何動作指導的高質(zhì)量視頻生成框架，可以生成細節(jié)豐富、逼真的人類動作視頻，可以生成任意長度的視頻內(nèi)容，可以對視頻內(nèi)容進行精確控制，包括動作、姿勢和視頻風格等。

類似阿里的通義舞王，但效果看起來比阿里通義舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞視頻，也可以做數(shù)字人。

近年來，生成式人工智能在圖像生成領(lǐng)域取得了重大進展，催生了多種應用。然而，視頻生成在可控性、視頻長度、細節(jié)豐富度等各方面仍面臨相當大的挑戰(zhàn)，阻礙了該技術(shù)的應用和普及。在這項工作中，我們提出了一種可控視頻生成框架，稱為 MimicMotion，它可以在任何運動指導下生成任意長度的高質(zhì)量視頻。與以前的方法相比，我們的方法

有幾個亮點。

首先，通過置信感知姿勢指導，可以實現(xiàn)時間平滑性，從而可以通過大規(guī)模訓練數(shù)據(jù)增強模型的連貫流暢。

其次，基于姿態(tài)置信度的區(qū)域損失放大顯著減輕了圖像的失真，能夠顯著減少生成圖像中的扭曲和變形。

最后，為了生成流暢的長視頻，提出了一種漸進式潛在融合策略。通過這種方式，能夠在可接受的計算資源消耗下，實現(xiàn)任意長度視頻的生成。

通過大量的實驗和用戶研究，MimicMotion 在多個方面比阿里的通義舞王的方法有了明顯的改進。

MimicMotion代碼：https://github.com/Tencent/MimicMotion

MimicMotion ComfyUI版本：https://github.com/aiFSH/ComfyUI-MimicMotion