阿里Tora視頻是阿里巴巴推出的ai視頻生成框架，基于軌跡導向的擴散變換器（DiT）技術，能夠將文本、視覺和軌跡條件融合，生成高質量且符合物理世界的動態視頻。

Tora主要功能特點：

軌跡導向的視頻生成：Tora能夠根據給定的軌跡生成視頻，保持運動的一致性和準確性。軌跡提取器（Trajectory Extractor, TE）將輸入的軌跡轉換成層次化的時空運動塊，這些運動塊與視頻內容的潛在空間相匹配。

多模態輸入整合：Tora支持文本、圖像和軌跡條件的同時輸入，實現多維度的視頻內容控制。這意味著用戶可以通過文字描述、圖片或物體移動的路線來生成視頻。

高分辨率視頻輸出：Tora能夠在720p的高分辨率下生成長達204幀的視頻，保證視頻質量。這使得生成的視頻不僅畫面清晰，而且運動流暢。

物理世界動態模擬：Tora生成的視頻運動效果貼近現實世界的物理動態，如重力和動力學原理。通過時空擴散變換器（Spatial-Temporal DiT），Tora能夠處理視頻數據，使模型理解和生成具有連貫運動的視頻。

靈活的內容創作：Tora支持不同時長、寬高比和分辨率的視頻生成，滿足多樣化的創作需求。無論是短視頻還是長視頻，無論是標準寬高比還是自定義寬高比，Tora都能適應。

運動引導融合器（Motion-guidance Fuser, MGF）：該組件負責將軌跡提取器生成的時空運動塊整合到DiT模型中，確保生成的視頻內容遵循預定的軌跡和動態。MGF通過自適應歸一化層將運動補丁整合到DiT塊中，精確控制視頻內容的動態。

兩階段訓練策略：為了讓Tora更好地理解和生成運動，通過一個兩階段的訓練過程來學習。首先使用密集光流進行訓練，然后使用稀疏軌跡進行微調，提高模型對運動控制的靈活性和準確性。

數據預處理：在訓練之前，Tora需要對視頻數據進行一些處理，比如根據場景檢測將長視頻分割成短片段，然后根據美學評分和運動分割結果選擇適合訓練的視頻片段。

Tora主要功能模塊

軌跡提取器（Trajectory Extractor, TE）：將輸入的軌跡轉換成層次化的時空運動塊，這些運動塊與視頻內容的潛在空間相匹配。

時空擴散變換器（Spatial-Temporal DiT）：結合空間和時間的自注意力機制，處理視頻數據，使模型能夠理解和生成具有連貫運動的視頻。

運動引導融合器（Motion-guidance Fuser, MGF）：負責將軌跡提取器生成的時空運動塊整合到DiT模型中，確保生成的視頻內容遵循預定的軌跡和動態。

Tora應用場景：

影視制作：在影視制作中，Tora可以用于生成電影、電視劇或短片中的特效場景，通過軌跡控制生成復雜的動態畫面，減少實際拍攝成本和時間。

動畫創作：根據腳本自動生成動畫序列，為動畫師提供初步的動態草圖，加速創作過程。

虛擬現實（VR）和增強現實（AR）：生成與用戶互動的動態環境，為VR和AR應用提供逼真的視覺效果。

游戲開發：快速生成游戲環境和角色動畫，提高游戲設計的效率。

Tora訪問方法：

Tora項目官網：https://ali-videoai.github.io/tora_video/

Tora GitHub倉庫：https://github.com/ali-videoai/Tora

Tora arXiv技術論文：https://arxiv.org/pdf/2407.21705

總的來說，Tora生成的視頻質量非常高，能夠生成10到60秒的高分辨率視頻，并且在不同分辨率和縱橫比下表現出色。Tora的視頻不僅流暢，而且能夠細致地模擬物理世界的運動。Tora的軌跡控制功能也得到了用戶的高度評價。