
SkyReels-V1
SkyReels-V1簡介
昆侖萬維SkyReels-V1是中國首個面向ai短劇創作的視頻生成模型,能夠實現影視級人物微表情表演生成,支持33種細膩人物表情與400+種自然動作組合,高度還原真人情感表達。
SkyReels-V1功能特點
影視級人物微表情演繹:能支持33種細膩人物表情以及400多種自然動作組合,高度還原真人的情感表達。
電影級光影藝術:基于好萊塢級別的高質量影視數據進行訓練,所生成的每一幀畫面在構圖、演員站位、相機角度等方面都具有電影級的質感。
視頻生成模式多樣:是開源視頻生成模型中參數規模最大且支持圖生視頻的模型,在同等分辨率下,各項指標達到開源領域的先進水平。
人物視頻理解能力強:作為以人為核心的視頻理解多模態大模型,可提升對視頻中人物相關內容的理解能力,涵蓋影視化表情識別、人物空間位置感知、行為意圖理解以及表演場景理解等方面。
推理效率極高:在自研的推理優化框架“SkyReels-Infer”助力下,推理效率大幅提高。可實現544p分辨率下,單臺4090顯卡推理僅需80秒,并且支持分布式多卡并行。
SkyReels-V1應用場景:
AI短劇創作:生成具備高表演細節和電影級質感的短劇內容,有效解決傳統短劇制作流程繁瑣、成本高昂、周期漫長的問題。
社交媒體內容創作:快速產出高質量的短劇內容,增強內容的吸引力。
品牌廣告制作:迅速生成契合品牌調性的創意短劇內容,節省制作時間和成本。
教育與培訓:生成教育視頻,以生動的方式展示課程內容。
娛樂與虛擬角色:創建虛擬偶像、游戲過場動畫,或為直播平臺提供虛擬主播內容。
SkyReels-V1使用方法
訪問開源地址:可以訪問SkyReels-V1的開源地址:https://github.com/SkyworkAI/SkyReels-V1
下載和安裝:依照開源協議下載并安裝SkyReels-V1以及其依賴項。
數據準備:運用自研的高質量數據清洗和人工標注管線,構建千萬級別的高質量電影、電視劇、紀錄片數據集。
模型訓練和微調:基于自研的“Human - Centric”視頻理解多模態大模型,對SkyReels-V1進行訓練和微調,從而提升其在人物表演、場景理解等方面的能力。
生成視頻:使用訓練好的模型生成視頻,支持文生視頻和圖生視頻這兩種模式。
優化和部署:利用自研推理優化框架“SkyReels - Infer”,對模型進行優化和部署,提升推理效率并降低資源消耗。
相關鏈接:
Github:https://github.com/SkyworkAI/SkyReels-V1
技術報告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf