Open-Sora 1.1發布:視頻生成質量和持續時間顯著提升
今天,我們很高興地推出 Open-Sora-Plan v1.1.0,它顯著提高了視頻生成質量和持續時間以及文本控制功能。與之前的 Open-Sora-Plan v1.1.0 版本相比,改進了:
更好的壓縮視覺表示:我們優化了 CausalVideoVAE 架構,該架構現在具有更強的性能和更高的推理效率。
生成質量更高、時長更長:我們使用了更高質量的視覺數據和標題以及ShareGPT4Video對長視頻進行注釋的能力,我們可以生成更高質量和更長的視頻。
除了性能改進外,Open-Sora-Plan v1.1.0 還保持了 v1.0.0 的極簡設計和數據效率。值得注意的是,我們發現 v1.1.0 表現出與 Sora 基礎模型相似的性能,這表明我們版本的演變與 Sora 演示的縮放定律一致。
我們開源了 Open-Sora-Plan,以促進社區視頻生成的未來發展。代碼、數據、模型將公開提供。
演示:Hugging Face 演示在這里。
代碼:所有訓練腳本和示例腳本。
模型:此處為 Diffusion Model 和 CasualVideoVAE。
數據:此處為原始視頻和字幕。
GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main
在線體驗:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0
Open-Sora-Plan v1.1.0基于 transformer 的文本到視頻擴散系統,基于 T5 的文本嵌入進行訓練。
相關文章
Sora Turbo有哪些新功能及價格訂閱權益
2024-12-10
騰訊混元文生視頻與Sora相比有哪些優勢?
2024-12-03
- 用戶登錄