2024年11月15日，字節跳動的兩款視頻生成模型PixelDance和Seaweed在即夢AI平臺正式上線。目前，網頁版和手機端APP均已支持這兩款模型的使用，這兩款模型已面向公眾免費開放使用，用戶可以通過即夢ai的“視頻生成”體驗這個功能。

PixelDance模型支持文生視頻和圖生視頻，能夠生成長達10秒的高質量視頻片段，其人物動作接近照片的真實度，超越了OpenAI的Sora模型在復雜動作表現上的限制。Seaweed模型則在圖生視頻場景體現出較好的首幀一致性，可以保持與用戶輸入圖的一致性，同時具有高效的生成能力，僅需60秒就能完成5秒高質量視頻的生成，遠超國內行業標準的3-5分鐘。

模型功能

• PixelDance功能：能夠生成魔術般的特效，適合使用時序提示詞、長鏡頭等技巧。

• Seaweed功能：在圖生視頻場景中體現出較好的首幀一致性，保持與用戶輸入圖的一致性、色彩等細節還原。

• 鏡頭切換：PixelDance在生成10秒視頻時，切換鏡頭3-5次的效果最佳，場景和角色能保持很好的一致性。

• 視覺效果：Seaweed模型實現大幅度運動畫面流暢自然，具有真實感。

• 提示詞描述：通過小幅度、漸進式的提示詞描述，PixelDance能生成魔術般的特效。

應用場景

• 設計領域：兩款模型可以應用于設計領域，幫助創作者實現更具創意的設計作品。

• 影視制作：在影視制作中，這些模型可以用于生成特效和復雜的場景。

• 動畫創作：模型支持動畫創作，能夠生成流暢自然的動畫效果。

• 專業創作：經過剪映、即夢AI等業務場景打磨，模型更好地服務于專業創作者和藝術家。

• 故事創作：即夢AI平臺提供的功能有助于故事創作，提升創作效率。

這兩款模型的發布，尤其是PixelDance，體現了字節跳動在視頻生成技術上的成熟，特別是在語義理解、人物動作處理以及多鏡頭切換的一致性方面達到了業界先進水平。