Follow-Your-Emoji，由港科大、騰訊混元、清華共研，基于擴(kuò)散模型共同開發(fā)，將目標(biāo)表情或動作應(yīng)用到參考肖像上，并保持肖像的身份特征、動作連貫性及逼真度。通過提取視頻人物的面部特征，特別是面部細(xì)節(jié)和瞳孔動態(tài)，來生成新的面部動畫。

你只需給定一張照片，F(xiàn)ollow-Your-Emoji就能將其轉(zhuǎn)化為活靈活現(xiàn)的面部動畫。，同時能夠捕捉微妙表情變化。

Follow-Your-Emoji可以實現(xiàn)使用單一的驅(qū)動視頻或動作序列來驅(qū)動多個不同的參考頭像生成動畫。每個參考頭像都會按照同一個動作序列表現(xiàn)出相同的動作和表情變化。也可以使用單一的參考頭像+多個不同的驅(qū)動視頻生成多段動畫。每個動作序列都會讓同一個參考頭像表現(xiàn)出不同的動作和表情變化。

Follow-Your-Emoji功能特征：

• 身份保持：在動畫生成過程中，能確保參考頭像的身份特征不會丟失，確保你的形象始終如一。

• 表情豐富：生成各種夸張和細(xì)微的表情，如大幅度的瞳孔運動，無論是細(xì)微的眼部動態(tài)還是夸張的表情變化。

• 風(fēng)格多樣化：支持多種風(fēng)格的頭像動畫，無論卡通、現(xiàn)實人物、雕塑還是動物風(fēng)格的動畫等。

• 動畫穩(wěn)定持久：使用漸進(jìn)生成策略，確保長時間動畫的穩(wěn)定性和一致性。

這項技術(shù)的主要難點在于，在動畫過程中始終保持參考頭像的身份特征不會丟失，同時又要傳遞目標(biāo)表情，并確保時間上的連貫性和逼真度。

為了解決這個問題，F(xiàn)ollow-Your-Emoji采用兩種關(guān)鍵技術(shù)：一個是使用一種新的顯式動作信號——表情感知的關(guān)鍵點來指導(dǎo)動畫過程。這種關(guān)鍵點可以確保在推理過程中參考頭像與目標(biāo)動作之間的準(zhǔn)確對齊，并且增強(qiáng)了表現(xiàn)夸張表情（例如，瞳孔的大幅度運動）的能力，同時避免了身份信息的泄露。另外一個是提出了一種面部細(xì)粒度損失函數(shù)，通過使用表情和面部掩碼來提高模型對微妙表情變化和參考頭像外觀重建的能力。

Follow-Your-Emoji非常適合那些需要進(jìn)行人像動畫制作的專業(yè)人士和愛好者，包括動畫設(shè)計師、視頻制作者、游戲開發(fā)者等。

論文地址：https://arxiv.org/html/2406.01900v1

Follow-Your-Emoji項目地址：https://follow-your-emoji.github.io/