EchoMimic是一個(gè)螞蟻集團(tuán)支付寶基于音頻驅(qū)動(dòng)的肖像動(dòng)畫生成工具，通過(guò)可編輯的特征點(diǎn)條件生成逼真、自然的動(dòng)畫，用戶可以根據(jù)自己的需求調(diào)整動(dòng)畫細(xì)節(jié)，可用于虛擬主播、視頻編輯等，效果比SadTalker、MuseTalk好，表情更豐富動(dòng)作更順暢。

EchoMimic可以根據(jù)人像面部特征和音頻來(lái)幫人物對(duì)口型，結(jié)合面部標(biāo)志點(diǎn)和音頻內(nèi)容生成較為穩(wěn)定、自然的視頻。

EchoMimic功能:

• 音頻驅(qū)動(dòng)動(dòng)畫，可以根據(jù)音頻生成人物肖像的動(dòng)畫，比如唱歌、說(shuō)話視頻等。

• 姿勢(shì)驅(qū)動(dòng)動(dòng)畫，可以根據(jù)姿勢(shì)數(shù)據(jù)生成人物肖像的動(dòng)畫。

• 音頻和姿勢(shì)混合驅(qū)動(dòng)動(dòng)畫，可以同時(shí)使用音頻和姿勢(shì)數(shù)據(jù)來(lái)生成動(dòng)畫。

• WebUI 和 GradioUI，提供圖形界面，易于使用。

• 可編輯的標(biāo)志調(diào)節(jié)：用戶可以選擇特定的面部標(biāo)志來(lái)控制動(dòng)畫，提供更大的靈活性和定制性。

• 支持多語(yǔ)言（包含中文普通話、英語(yǔ)）及多風(fēng)格，也可應(yīng)對(duì)唱歌等場(chǎng)景。

EchoMimic應(yīng)用：

• 肖像圖像動(dòng)畫：使用音頻輸入從靜態(tài)圖像創(chuàng)建動(dòng)態(tài)視頻，可用于娛樂(lè)、虛擬化身和數(shù)字通信。

• 增強(qiáng)穩(wěn)定性和自然度：通過(guò)結(jié)合兩種輸入，克服音頻驅(qū)動(dòng)方法的不穩(wěn)定性和關(guān)鍵點(diǎn)驅(qū)動(dòng)方法的不自然性。

• 可定制的動(dòng)畫：用戶可以編輯特定的面部標(biāo)志以實(shí)現(xiàn)所需的動(dòng)畫效果。

ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimic項(xiàng)目：https://badtobest.github.io/echomimic.html

EchoMimic Github：https://github.com/BadToBest/EchoMimic

EchoMimic模型：https://huggingface.co/BadToBest/EchoMimic

EchoMimic 由螞蟻集團(tuán)支付寶終端技術(shù)部開(kāi)發(fā)的音頻輸入驅(qū)動(dòng)創(chuàng)建逼真肖像動(dòng)畫的技術(shù)。它使用可編輯的地標(biāo)調(diào)節(jié)來(lái)實(shí)現(xiàn)逼真的面部動(dòng)作和表情，從而實(shí)現(xiàn)高度可定制且外觀自然的動(dòng)畫。