MM-StoryAgent是什么？

MM-StoryAgent是上海交大和阿里開源的一款ai多模態(tài)故事生成系統(tǒng)，采用多智能體范式，能生成沉浸式的有聲故事書視頻。它融合了文本、圖像、音頻等多種元素，借助大型語言模型和一些專業(yè)工具，自動生成包含文字、圖像以及多聲道音頻（旁白、音效、背景音樂）的故事視頻，可用于兒童故事快速創(chuàng)作。

MM-StoryAgent功能特點

• 創(chuàng)作高質(zhì)量故事：依據(jù)輸入的故事設(shè)定，通過多智能體、多階段的流程創(chuàng)作故事。采用自上而下構(gòu)思草稿、自下而上生成素材的方式，解決手動干預(yù)、場景編排和敘事一致等問題。

• 生成多模態(tài)內(nèi)容：結(jié)合文本、圖像、語音、音樂等模態(tài)生成沉浸式故事視頻。將任務(wù)分解后分配給不同的專業(yè)“智能體”，如負(fù)責(zé)故事設(shè)計、故事板生成、視頻創(chuàng)建等，模擬專業(yè)制作流程。

• 支持定制化工作流：提供可靠且可定制的工作流程，用戶能通過配置文件等方式自定義智能體行為，定義自己的專業(yè)工具來提升各組件生成質(zhì)量。

• 增強角色一致性：生成過程中注重角色和主題的一致性。采用定制化的圖像轉(zhuǎn)視頻方法和新的故事板生成流程，保證鏡頭間主體一致。

• 自動化且靈活：利用大型語言模型和專業(yè)工具，能將簡單提示自動轉(zhuǎn)換為多模態(tài)數(shù)字故事，無需參考視頻就能生成連貫內(nèi)容。

• 便于評估優(yōu)化：提供故事主題列表和評估標(biāo)準(zhǔn)，方便用戶評估生成故事的質(zhì)量并進行改進。

MM-StoryAgent核心技術(shù)

• 多智能體框架運作機制：通過多階段寫作流程和多智能體協(xié)作創(chuàng)作故事，整合視覺、聽覺和敘事元素，帶來全方位感官體驗。

• 定制圖像轉(zhuǎn)視頻方法：引入LoRA-BE這種定制的圖像轉(zhuǎn)視頻方法，增強鏡頭內(nèi)時間一致性，提升視頻視覺質(zhì)量。

MM-StoryAgent使用方法

1. 獲取源代碼：訪問MM_StoryAgent的GitHub倉庫（見下面鏈接），下載源代碼。

2. 安裝依賴項：按照項目文檔說明，安裝Python庫等必要的軟件包。

3. 配置環(huán)境：設(shè)置開發(fā)環(huán)境，確保依賴項正確安裝，可能需要配置一些環(huán)境變量。

4. 準(zhǔn)備輸入數(shù)據(jù)：準(zhǔn)備好故事設(shè)定、角色描述、場景信息等數(shù)據(jù)用于故事創(chuàng)作。

5. 運行生成過程：使用提供的腳本或命令行工具啟動生成流程，可通過指定輸入數(shù)據(jù)和參數(shù)定制故事。

6. 查看評估結(jié)果：生成的視頻形式的故事輸出后，查看并評估質(zhì)量和效果，按需調(diào)整。

7. 優(yōu)化迭代：根據(jù)評估結(jié)果調(diào)整輸入數(shù)據(jù)或參數(shù)，重新運行生成流程優(yōu)化故事內(nèi)容和表現(xiàn)力 。

GitHub倉庫：https://github.com/X-PLUG/MM_StoryAgent