Step-Video-T2V是一個由階躍星辰與吉利汽車合作開源的先進文本到視頻生成模型。它具備諸多突出特性，在視頻生成領域展現出強大實力。

Step-Video-T2V模型的亮點

• 運用DiT模型和流匹配訓練方法，實現了16×16倍空間壓縮以及8倍時間壓縮，極大地提升了大規模視頻生成的效率。

• 擁有300億龐大參數參數，能夠生成分辨率高達544x992的高質量高分辨率視頻。

• 支持中文與英文提示輸入，方便不同語言背景的用戶使用。

Step-Video-T2V的功能特征

• 大規模參數：參數量高達300億，賦予模型極高的生成能力和準確性，使其能夠更精準地理解文本描述并轉化為高質量視頻。

• 高效的視頻生成：支持生成最長204幀（544x992像素）的高質量視頻，滿足多樣化的創作需求。采用深度壓縮的變分自編碼器（Video-VAE），達成16×16的空間壓縮和8×的時間壓縮，在保證視頻質量的同時，有效降低了訓練和推理的成本。

• 雙語文本編碼器：支持中英文輸入，能夠深入理解和生成符合文本描述的視頻內容，讓不同語言的用戶都能方便地使用該模型。

• 先進的架構：使用3D全注意力DiT架構，能夠靈活適應動態分辨率的變化，確保視頻生成的穩定性和高質量，引入視頻偏好優化（Direct Preference Optimization, DPO），通過人類反饋機制，進一步提升生成視頻的質量和平滑度，使其更符合用戶的預期。

• 多模態融合：結合圖像、語音和文本三種模態的理解能力，生成的內容在細節上更為逼真。例如，生成的人物表情更加生動、光影變化更加自然、動態物體的表現更加流暢真實。

• 靈活的操作模式：提供基礎版（50步生成）和Turbo版本（15步蒸餾加速），以滿足不同用戶在不同場景下的性能需求。在實際操作中，生成204幀視頻大約需要4塊80GB顯存的GPU，耗時約12分鐘。

Step-Video-T2V的應用場景

• 創意視頻制作：協助視頻創作者生成復雜場景和精細的創意視頻內容，非常適合廣告制作、短視頻創作等領域。

• 動畫與影視制作：在動畫和影視行業中可用于生成高質量的虛擬角色、動態場景和復雜動作。

• 教育與培訓：能夠創建互動性強的教學視頻，使教學過程更加生動有趣，增強學生的參與感和學習效果。

• 娛樂產業：可以自動生成游戲CG、電影預告片和其他娛樂內容，節省大量時間和人力成本。

• 文化傳播：尤其在中國風美學方面表現出色，可以生成水墨畫、古風場景等內容，有助于傳統文化的數字化傳播，讓傳統文化在新時代煥發出新的活力。

Step-Video-T2V的使用方法：

1. 安裝依賴：

安裝必要的Python庫和依賴項。通常可以通過pip或其他包管理工具進行安裝。

pip install transformers torch torchvision torchaudio

2. 配置環境：

• 設置運行所需的硬件環境，推薦至少4塊80GB顯存的NVIDIA GPU。

• 下載并解壓模型權重文件至指定目錄。

3. 加載模型：

使用Hugging Face Transformers庫加載預訓練的Step-Video-T2V模型。

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "stepfun-ai/Step-Video-T2V"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

4. 生成視頻：

準備好文本提示，并將其轉換為模型可用的形式。

運行生成腳本，等待輸出結果。

input_text = "A red-haired woman performing on stage."
inputs = tokenizer(input_text, return_tensors="pt")
# Generate video frames (this is a simplified example; actual implementation may vary)
outputs = model.generate(**inputs, max_length=204)  # Adjust parameters as needed
# Save or display the generated video frames

5. 后處理：

• 對生成的視頻幀進行后期處理，如拼接成完整視頻、添加音頻等。

訪問資源：

GitHub倉庫：https://github.com/stepfun-ai/Step-Video-T2V

Hugging Face演示：https://huggingface.co/stepfun-ai