昆侖萬維SkyReels-V1是中國首個面向ai短劇創(chuàng)作的視頻生成模型，能夠?qū)崿F(xiàn)影視級人物微表情表演生成，支持33種細(xì)膩人物表情與400+種自然動作組合，高度還原真人情感表達(dá)。

SkyReels-V1功能特點(diǎn)

• 影視級人物微表情演繹：能支持33種細(xì)膩人物表情以及400多種自然動作組合，高度還原真人的情感表達(dá)。

• 電影級光影藝術(shù)：基于好萊塢級別的高質(zhì)量影視數(shù)據(jù)進(jìn)行訓(xùn)練，所生成的每一幀畫面在構(gòu)圖、演員站位、相機(jī)角度等方面都具有電影級的質(zhì)感。

• 視頻生成模式多樣：是開源視頻生成模型中參數(shù)規(guī)模最大且支持圖生視頻的模型，在同等分辨率下，各項(xiàng)指標(biāo)達(dá)到開源領(lǐng)域的先進(jìn)水平。

• 人物視頻理解能力強(qiáng)：作為以人為核心的視頻理解多模態(tài)大模型，可提升對視頻中人物相關(guān)內(nèi)容的理解能力，涵蓋影視化表情識別、人物空間位置感知、行為意圖理解以及表演場景理解等方面。

• 推理效率極高：在自研的推理優(yōu)化框架“SkyReels-Infer”助力下，推理效率大幅提高。可實(shí)現(xiàn)544p分辨率下，單臺4090顯卡推理僅需80秒，并且支持分布式多卡并行。

SkyReels-V1應(yīng)用場景：

• AI短劇創(chuàng)作：生成具備高表演細(xì)節(jié)和電影級質(zhì)感的短劇內(nèi)容，有效解決傳統(tǒng)短劇制作流程繁瑣、成本高昂、周期漫長的問題。

• 社交媒體內(nèi)容創(chuàng)作：快速產(chǎn)出高質(zhì)量的短劇內(nèi)容，增強(qiáng)內(nèi)容的吸引力。

• 品牌廣告制作：迅速生成契合品牌調(diào)性的創(chuàng)意短劇內(nèi)容，節(jié)省制作時間和成本。

• 教育與培訓(xùn)：生成教育視頻，以生動的方式展示課程內(nèi)容。

• 娛樂與虛擬角色：創(chuàng)建虛擬偶像、游戲過場動畫，或?yàn)橹辈テ脚_提供虛擬主播內(nèi)容。
  

SkyReels-V1使用方法

• 訪問開源地址：可以訪問SkyReels-V1的開源地址：https://github.com/SkyworkAI/SkyReels-V1

• 下載和安裝：依照開源協(xié)議下載并安裝SkyReels-V1以及其依賴項(xiàng)。

• 數(shù)據(jù)準(zhǔn)備：運(yùn)用自研的高質(zhì)量數(shù)據(jù)清洗和人工標(biāo)注管線，構(gòu)建千萬級別的高質(zhì)量電影、電視劇、紀(jì)錄片數(shù)據(jù)集。

• 模型訓(xùn)練和微調(diào)：基于自研的“Human - Centric”視頻理解多模態(tài)大模型，對SkyReels-V1進(jìn)行訓(xùn)練和微調(diào)，從而提升其在人物表演、場景理解等方面的能力。

• 生成視頻：使用訓(xùn)練好的模型生成視頻，支持文生視頻和圖生視頻這兩種模式。

• 優(yōu)化和部署：利用自研推理優(yōu)化框架“SkyReels - Infer”，對模型進(jìn)行優(yōu)化和部署，提升推理效率并降低資源消耗。

相關(guān)鏈接：

Github：https://github.com/SkyworkAI/SkyReels-V1

技術(shù)報告：https://skyworkai.github.io/skyreels-a1.github.io/report.pdf