Lumiere是谷歌研究院團隊開發(fā)的基于空間時間的文本到視頻擴散模型。Lumiere采用了創(chuàng)新的空間時間U-Net架構，該架構通過模型中的單次傳遞一次性生成視頻的整個時間，不同于其他模型那樣逐幀合成視頻。確保了生成視頻的連貫性和逼真度，Lumiere可以輕松促進廣泛的內容創(chuàng)建任務和視頻編輯應用程序，包括圖像到視頻、視頻修復和風格化生成。

Lumiere功能特點：

• 文本到視頻的擴散模型： Lumiere能夠根據(jù)文本提示生成視頻，實現(xiàn)了從文本描述到視頻內容的直接轉換。

• 圖像到視頻：該模型通過對第一幀進行調節(jié)，將靜止圖像平滑地轉換為視頻。

• 空間時間U-Net架構： 與其他需要逐步合成視頻的模型不同，Lumiere能夠一次性完成整個視頻的制作。這種獨特的架構允許Lumiere一次性生成整個視頻的時間長度，不同于其他模型那樣逐幀合成視頻。

• 全局時間一致性： 由于其架構的特點，Lumiere更容易實現(xiàn)視頻內容的全局時間一致性，確保視頻的連貫性和逼真度。

• 多尺度空間時間處理： Lumiere通過在多個空間時間尺度上處理視頻來學習直接生成視頻，這是一種先進的方法。

• 風格化視頻生成： 使用單個參考圖像，Lumiere可以按照目標風格生成視頻，這種能力在其他視頻生成模型中較為罕見。

• 廣泛的內容創(chuàng)作和視頻編輯應用： Lumiere支持多種內容創(chuàng)作任務和視頻編輯應用，如圖像到視頻、視頻修補和風格化生成。

• 視頻樣式化編輯： 使用文本基礎的圖像編輯方法，Lumiere可以對視頻進行一致性的樣式編輯。

• 影像合成能力： 當圖像的一部分保持靜止而另一部分呈現(xiàn)運動時，可以實現(xiàn)局部運動效果，從而為靜止圖像增添迷人的美感。

• 視頻修復功能： Lumiere 可以根據(jù)文本提示對現(xiàn)有視頻的任意遮罩區(qū)域進行動畫處理。這為視頻編輯、對象插入和/或刪除提供了有趣的可能性。

盡管取得了這些進步，但Lumiere在需要在不同場景和鏡頭之間轉換的視頻方面仍然受到限制。這種能力差距為未來的擴散模型研究提供了重要方向。