LiveSketch是一款ai生成視頻工具，用戶通過文本提示將靜態(tài)素描轉(zhuǎn)化為動畫，它提供了一種簡單直觀的方法，使他們的素描變得生動活潑。無論是用于講故事、插圖、網(wǎng)站設計還是演示文稿，LiveSketch都能賦予靜態(tài)素描圖生命，使其更加豐富有趣。

只需要簡短的一句文本提示，LiveSketch就能讓寥寥幾筆涂鴉成真，輸出生動活潑的的SVG動畫片段，而且易于編輯和調(diào)整，可以通過文本控制動畫的動作和幅度。

草圖是人類用來直觀、最通用的工具之一，用于直觀地傳達他們的想法。動畫草圖為思想的表達打開了另一個維度，并被設計師廣泛用于各種目的。 

草圖動畫是一個費力的過程，需要豐富的經(jīng)驗和專業(yè)的設計技能。 在這項工作中，我們針對LiveSketch提出了一種方法，該方法只需提供指示所需運動的文本提示，即可自動將運動添加到單主題草圖中（因此，“為它注入生命”）。 輸出是以矢量表示形式提供的簡短動畫，可以輕松編輯LiveSketch。 

我們的方法不需要大量的訓練，而是利用大型預訓練文本到視頻擴散模型的運動先驗，使用分數(shù)蒸餾損失來指導筆畫的位置。 為了促進自然和流暢的運動，并更好地保留草圖的外觀，我們通過兩個組件對學習到的運動進行建模。第一個控制小的局部變形，第二個控制全局仿射變換。

 令人驚訝的是，我們發(fā)現(xiàn)，即使是難以自行生成草圖視頻的模型，LiveSketch仍然可以作為動畫抽象表示的有用骨干。

LiveSketch有很大局限性。首先，目前來說，它只能通過簡單地修改描述運動的提示，對生成結(jié)果進行一定程度的控制。這些修改和控制僅限于模型可以創(chuàng)建的小動作，且文本提示需要與初始草圖的語義一致，當主體包含多個對象時，則無法進行區(qū)分了。

未來，LiveSketch這類技術或許還能在藝術創(chuàng)作、兒童教育等領域大放異彩，大大降低藝術創(chuàng)造的門檻，提升教育的趣味性和互動性。