EchoMimic是一個螞蟻集團支付寶基于音頻驅動的肖像動畫生成工具，通過可編輯的特征點條件生成逼真、自然的動畫，用戶可以根據自己的需求調整動畫細節，可用于虛擬主播、視頻編輯等，效果比SadTalker、MuseTalk好，表情更豐富動作更順暢。

EchoMimic可以根據人像面部特征和音頻來幫人物對口型，結合面部標志點和音頻內容生成較為穩定、自然的視頻。

EchoMimic功能:

• 音頻驅動動畫，可以根據音頻生成人物肖像的動畫，比如唱歌、說話視頻等。

• 姿勢驅動動畫，可以根據姿勢數據生成人物肖像的動畫。

• 音頻和姿勢混合驅動動畫，可以同時使用音頻和姿勢數據來生成動畫。

• WebUI 和 GradioUI，提供圖形界面，易于使用。

• 可編輯的標志調節：用戶可以選擇特定的面部標志來控制動畫，提供更大的靈活性和定制性。

• 支持多語言（包含中文普通話、英語）及多風格，也可應對唱歌等場景。

EchoMimic應用：

• 肖像圖像動畫：使用音頻輸入從靜態圖像創建動態視頻，可用于娛樂、虛擬化身和數字通信。

• 增強穩定性和自然度：通過結合兩種輸入，克服音頻驅動方法的不穩定性和關鍵點驅動方法的不自然性。

• 可定制的動畫：用戶可以編輯特定的面部標志以實現所需的動畫效果。

ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimic項目：https://badtobest.github.io/echomimic.html

EchoMimic Github：https://github.com/BadToBest/EchoMimic

EchoMimic模型：https://huggingface.co/BadToBest/EchoMimic

EchoMimic 由螞蟻集團支付寶終端技術部開發的音頻輸入驅動創建逼真肖像動畫的技術。它使用可編輯的地標調節來實現逼真的面部動作和表情，從而實現高度可定制且外觀自然的動畫。