2024年11月15日，字節(jié)跳動的兩款視頻生成模型PixelDance和Seaweed在即夢AI平臺正式上線。目前，網(wǎng)頁版和手機端APP均已支持這兩款模型的使用，這兩款模型已面向公眾免費開放使用，用戶可以通過即夢ai的“視頻生成”體驗這個功能。

PixelDance模型支持文生視頻和圖生視頻，能夠生成長達10秒的高質(zhì)量視頻片段，其人物動作接近照片的真實度，超越了OpenAI的Sora模型在復(fù)雜動作表現(xiàn)上的限制。Seaweed模型則在圖生視頻場景體現(xiàn)出較好的首幀一致性，可以保持與用戶輸入圖的一致性，同時具有高效的生成能力，僅需60秒就能完成5秒高質(zhì)量視頻的生成，遠超國內(nèi)行業(yè)標準的3-5分鐘。

模型功能

• PixelDance功能：能夠生成魔術(shù)般的特效，適合使用時序提示詞、長鏡頭等技巧。

• Seaweed功能：在圖生視頻場景中體現(xiàn)出較好的首幀一致性，保持與用戶輸入圖的一致性、色彩等細節(jié)還原。

• 鏡頭切換：PixelDance在生成10秒視頻時，切換鏡頭3-5次的效果最佳，場景和角色能保持很好的一致性。

• 視覺效果：Seaweed模型實現(xiàn)大幅度運動畫面流暢自然，具有真實感。

• 提示詞描述：通過小幅度、漸進式的提示詞描述，PixelDance能生成魔術(shù)般的特效。

應(yīng)用場景

• 設(shè)計領(lǐng)域：兩款模型可以應(yīng)用于設(shè)計領(lǐng)域，幫助創(chuàng)作者實現(xiàn)更具創(chuàng)意的設(shè)計作品。

• 影視制作：在影視制作中，這些模型可以用于生成特效和復(fù)雜的場景。

• 動畫創(chuàng)作：模型支持動畫創(chuàng)作，能夠生成流暢自然的動畫效果。

• 專業(yè)創(chuàng)作：經(jīng)過剪映、即夢AI等業(yè)務(wù)場景打磨，模型更好地服務(wù)于專業(yè)創(chuàng)作者和藝術(shù)家。

• 故事創(chuàng)作：即夢AI平臺提供的功能有助于故事創(chuàng)作，提升創(chuàng)作效率。

這兩款模型的發(fā)布，尤其是PixelDance，體現(xiàn)了字節(jié)跳動在視頻生成技術(shù)上的成熟，特別是在語義理解、人物動作處理以及多鏡頭切換的一致性方面達到了業(yè)界先進水平。