PIA是一種個性化的圖像動畫方法，通過文本到圖像模型中的即插即用模塊實現(xiàn)個性化圖像動畫師，可以生成具有高運(yùn)動可控性和強(qiáng)文本和圖像對齊性的視頻，與各種個性化T2I模型兼容，無需特定調(diào)整。

所提出的 PIA 根據(jù)不同的文本提示以逼真的動作對其進(jìn)行動畫處理，同時保留獨具特色的風(fēng)格和高保真細(xì)節(jié)，做到外觀與運(yùn)動的完美平衡，減輕外觀相關(guān)圖像對齊挑戰(zhàn)，專注于與運(yùn)動相關(guān)的指導(dǎo)對齊。

PIA項目地址：https://pi-animator.github.io/

個性化文本到圖像 （T2I） 模型的最新進(jìn)展徹底改變了內(nèi)容創(chuàng)作，使非專業(yè)人士能夠生成具有獨特風(fēng)格的驚人圖像。雖然很有前途，但通過文本將逼真的動作添加到這些個性化圖像中，在保留獨特的風(fēng)格、高保真細(xì)節(jié)和通過文本實現(xiàn)運(yùn)動可控性方面帶來了重大挑戰(zhàn)。

在本文中，我們介紹了 PIA，這是一款個性化圖像動畫器，它擅長與條件圖像對齊，通過文本實現(xiàn)運(yùn)動可控性，以及與各種個性化 T2I 模型的兼容性，而無需進(jìn)行特定調(diào)整。為了實現(xiàn)這些目標(biāo)，PIA 基于具有訓(xùn)練有素的時間對齊層的基礎(chǔ) T2I 模型構(gòu)建，允許將任何個性化 T2I 模型無縫轉(zhuǎn)換為圖像動畫模型。

PIA 的一個關(guān)鍵組件是條件模塊的引入，該模塊利用條件幀和幀間親和力作為輸入，在親和力提示的指導(dǎo)下傳輸外觀信息，以便在潛在空間中進(jìn)行單個幀合成。這種設(shè)計減輕了內(nèi)部與外觀相關(guān)的圖像對齊的挑戰(zhàn)，并允許更專注于與運(yùn)動相關(guān)的引導(dǎo)對齊。

PIA實現(xiàn)方式：

• 時間對齊層基礎(chǔ)T2I模型：訓(xùn)練有素，將個性化T2I模型轉(zhuǎn)換為圖像動畫模型。

• 條件模塊：利用條件幀和幀間關(guān)聯(lián)，通過關(guān)聯(lián)提示在潛在空間傳輸外觀信息，指導(dǎo)幀合成。

PIA特點：

• 即插即用，根據(jù)文本提示實現(xiàn)動畫處理。

• 保留原始風(fēng)格，高保真度細(xì)節(jié)不失真。

PIA由上海人工智能實驗室貢獻(xiàn)。