Emu Video，Meta 公司開(kāi)發(fā)的文本到視頻生成模型，一種基于擴(kuò)散模型的簡(jiǎn)單文本到視頻生成方法，Emu Video使用擴(kuò)散模型根據(jù)文本提示創(chuàng)建視頻，首先生成圖像，然后根據(jù)文本和生成的圖像創(chuàng)建視頻。

Emu Video將生成過(guò)程分解為兩個(gè)步驟：首先根據(jù)文本提示生成圖像，然后根據(jù)提示和生成的圖像生成視頻。分解生成方式能夠高效訓(xùn)練高質(zhì)量的視頻生成模型。相比以往的方法，Emu Video 的核心優(yōu)勢(shì)在于其高效性和生成內(nèi)容的高分辨率。它能夠生成分辨率為512x512、時(shí)長(zhǎng)4秒、每秒16幀的視頻片段。

Emu Video主要特征：

視頻生成的統(tǒng)一架構(gòu)：Emu Video 采用統(tǒng)一架構(gòu)，支持各種視頻生成任務(wù)，包括從純文本提示、純圖像輸入以及組合文本和圖像輸入生成視頻。

兩步分解方法：Emu Video 中的視頻生成過(guò)程分為兩個(gè)不同的步驟。首先，它根據(jù)文本提示生成圖像。然后，它根據(jù)文本和生成的圖像生成視頻。

高分辨率輸出：Emu Video 可以生成 512x512 像素的高分辨率視頻，持續(xù)時(shí)間為 4 秒，幀速率為每秒 16 幀。

高效的訓(xùn)練過(guò)程：Emu Video 的訓(xùn)練過(guò)程被簡(jiǎn)化為兩個(gè)階段。首先，模型在較低分辨率 (256 像素) 和較短持續(xù)時(shí)間 (1 秒) 的視頻上以每秒 8 幀的速度進(jìn)行訓(xùn)練。接著它會(huì)以每秒 4 幀的速度轉(zhuǎn)換為更高分辨率 (512px) 和更長(zhǎng)持續(xù)時(shí)間（2 秒）的視頻。

最先進(jìn)的性能：與 Make-a-Video、Imagen-Video 等其他最先進(jìn)的視頻生成模型相比，Emu Video 在人類評(píng)估中表現(xiàn)出了卓越的性能。 96% 的受訪者更喜歡它的質(zhì)量，85% 的受訪者更喜歡它忠實(shí)于文本提示。

用戶提供的圖像的動(dòng)畫：Emu Video可以根據(jù)文本提示對(duì)用戶提供的圖像進(jìn)行動(dòng)畫處理，為希望將靜態(tài)圖像變?yōu)楝F(xiàn)實(shí)的用戶添加另一層創(chuàng)造力和自定義功能。

Emu Video 應(yīng)用：

• 內(nèi)容創(chuàng)建：從簡(jiǎn)單的文本描述生成引人入勝的視頻內(nèi)容。

• 營(yíng)銷和廣告：根據(jù)營(yíng)銷文案快速制作宣傳視頻。

• 教育和培訓(xùn)：根據(jù)教育材料制作教學(xué)視頻。

• 娛樂(lè)：根據(jù)腳本或故事板制作動(dòng)畫故事或視覺(jué)內(nèi)容。

Emu Video作為Meta開(kāi)發(fā)的尖端文本轉(zhuǎn)視頻生成平臺(tái)。使用分解方法來(lái)生成視頻，能過(guò)文本提示創(chuàng)建圖像，然后根據(jù)文本和圖像生成視頻。具有智能編輯功能，支持純文本、純圖像和組合輸入，以及以每秒 16 幀的速度生成高質(zhì)量 512×512 視頻的能力。