PIA是一種個性化的圖像動畫方法，通過文本到圖像模型中的即插即用模塊實現個性化圖像動畫師，可以生成具有高運動可控性和強文本和圖像對齊性的視頻，與各種個性化T2I模型兼容，無需特定調整。

所提出的 PIA 根據不同的文本提示以逼真的動作對其進行動畫處理，同時保留獨具特色的風格和高保真細節，做到外觀與運動的完美平衡，減輕外觀相關圖像對齊挑戰，專注于與運動相關的指導對齊。

PIA項目地址：https://pi-animator.github.io/

個性化文本到圖像 （T2I） 模型的最新進展徹底改變了內容創作，使非專業人士能夠生成具有獨特風格的驚人圖像。雖然很有前途，但通過文本將逼真的動作添加到這些個性化圖像中，在保留獨特的風格、高保真細節和通過文本實現運動可控性方面帶來了重大挑戰。

在本文中，我們介紹了 PIA，這是一款個性化圖像動畫器，它擅長與條件圖像對齊，通過文本實現運動可控性，以及與各種個性化 T2I 模型的兼容性，而無需進行特定調整。為了實現這些目標，PIA 基于具有訓練有素的時間對齊層的基礎 T2I 模型構建，允許將任何個性化 T2I 模型無縫轉換為圖像動畫模型。

PIA 的一個關鍵組件是條件模塊的引入，該模塊利用條件幀和幀間親和力作為輸入，在親和力提示的指導下傳輸外觀信息，以便在潛在空間中進行單個幀合成。這種設計減輕了內部與外觀相關的圖像對齊的挑戰，并允許更專注于與運動相關的引導對齊。

PIA實現方式：

• 時間對齊層基礎T2I模型：訓練有素，將個性化T2I模型轉換為圖像動畫模型。

• 條件模塊：利用條件幀和幀間關聯，通過關聯提示在潛在空間傳輸外觀信息，指導幀合成。

PIA特點：

• 即插即用，根據文本提示實現動畫處理。

• 保留原始風格，高保真度細節不失真。

PIA由上海人工智能實驗室貢獻。