阿里Tora視頻是阿里巴巴推出的ai視頻生成框架，基于軌跡導向的擴散變換器（DiT）技術，能夠?qū)⑽谋尽⒁曈X和軌跡條件融合，生成高質(zhì)量且符合物理世界的動態(tài)視頻。

Tora主要功能特點：

軌跡導向的視頻生成：Tora能夠根據(jù)給定的軌跡生成視頻，保持運動的一致性和準確性。軌跡提取器（Trajectory Extractor, TE）將輸入的軌跡轉(zhuǎn)換成層次化的時空運動塊，這些運動塊與視頻內(nèi)容的潛在空間相匹配。

多模態(tài)輸入整合：Tora支持文本、圖像和軌跡條件的同時輸入，實現(xiàn)多維度的視頻內(nèi)容控制。這意味著用戶可以通過文字描述、圖片或物體移動的路線來生成視頻。

高分辨率視頻輸出：Tora能夠在720p的高分辨率下生成長達204幀的視頻，保證視頻質(zhì)量。這使得生成的視頻不僅畫面清晰，而且運動流暢。

物理世界動態(tài)模擬：Tora生成的視頻運動效果貼近現(xiàn)實世界的物理動態(tài)，如重力和動力學原理。通過時空擴散變換器（Spatial-Temporal DiT），Tora能夠處理視頻數(shù)據(jù)，使模型理解和生成具有連貫運動的視頻。

靈活的內(nèi)容創(chuàng)作：Tora支持不同時長、寬高比和分辨率的視頻生成，滿足多樣化的創(chuàng)作需求。無論是短視頻還是長視頻，無論是標準寬高比還是自定義寬高比，Tora都能適應。

運動引導融合器（Motion-guidance Fuser, MGF）：該組件負責將軌跡提取器生成的時空運動塊整合到DiT模型中，確保生成的視頻內(nèi)容遵循預定的軌跡和動態(tài)。MGF通過自適應歸一化層將運動補丁整合到DiT塊中，精確控制視頻內(nèi)容的動態(tài)。

兩階段訓練策略：為了讓Tora更好地理解和生成運動，通過一個兩階段的訓練過程來學習。首先使用密集光流進行訓練，然后使用稀疏軌跡進行微調(diào)，提高模型對運動控制的靈活性和準確性。

數(shù)據(jù)預處理：在訓練之前，Tora需要對視頻數(shù)據(jù)進行一些處理，比如根據(jù)場景檢測將長視頻分割成短片段，然后根據(jù)美學評分和運動分割結(jié)果選擇適合訓練的視頻片段。

Tora主要功能模塊

軌跡提取器（Trajectory Extractor, TE）：將輸入的軌跡轉(zhuǎn)換成層次化的時空運動塊，這些運動塊與視頻內(nèi)容的潛在空間相匹配。

時空擴散變換器（Spatial-Temporal DiT）：結(jié)合空間和時間的自注意力機制，處理視頻數(shù)據(jù)，使模型能夠理解和生成具有連貫運動的視頻。

運動引導融合器（Motion-guidance Fuser, MGF）：負責將軌跡提取器生成的時空運動塊整合到DiT模型中，確保生成的視頻內(nèi)容遵循預定的軌跡和動態(tài)。

Tora應用場景：

影視制作：在影視制作中，Tora可以用于生成電影、電視劇或短片中的特效場景，通過軌跡控制生成復雜的動態(tài)畫面，減少實際拍攝成本和時間。

動畫創(chuàng)作：根據(jù)腳本自動生成動畫序列，為動畫師提供初步的動態(tài)草圖，加速創(chuàng)作過程。

虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：生成與用戶互動的動態(tài)環(huán)境，為VR和AR應用提供逼真的視覺效果。

游戲開發(fā)：快速生成游戲環(huán)境和角色動畫，提高游戲設計的效率。

Tora訪問方法：

Tora項目官網(wǎng)：https://ali-videoai.github.io/tora_video/

Tora GitHub倉庫：https://github.com/ali-videoai/Tora

Tora arXiv技術論文：https://arxiv.org/pdf/2407.21705

總的來說，Tora生成的視頻質(zhì)量非常高，能夠生成10到60秒的高分辨率視頻，并且在不同分辨率和縱橫比下表現(xiàn)出色。Tora的視頻不僅流暢，而且能夠細致地模擬物理世界的運動。Tora的軌跡控制功能也得到了用戶的高度評價。