StoryDiffusion 是一款由南開大學HVision團隊開發的人工智能工具，主要功能包括生成連貫的圖像和視頻故事，以及漫畫生成創作。StoryDiffusion利用一致性自注意力（Consistent Self-Attention）技術，能夠在無需訓練的情況下生成主題一致的圖像，這些圖像可以用于講述故事或作為后續內容生成的輸入。

StoryDiffusion 能夠保持角色的一致性，生成多圖漫畫和長視頻，這對于需要連貫敘事的廣告、電影等領域尤為重要。

StoryDiffusion主要功能特征：

• 角色連貫性保持：StoryDiffusion能夠通過一致性自注意力機制生成主題一致的圖像和視頻，確保在多圖漫畫和長視頻中角色風格和服裝的一致性，從而實現連貫的故事敘述。

• 多場景應用：該工具不僅適用于漫畫生成，還可以應用于圖像轉視頻等多種場景。用戶可以通過提供一系列條件圖像，利用Image-to-Video模型生成視頻，這對于廣告、電影等領域提供了新的創意方式和制作手段。

• 教育材料設計：教育工作者可以使用StoryDiffusion來設計教育視頻或互動故事，這些內容有助于提高學習者的參與度和興趣。

• 長范圍圖像生成功能：特別適合制作連貫的廣告故事，增強品牌形象。這種功能使得StoryDiffusion在廣告和品牌推廣方面具有顯著優勢。

• 即插即用無需訓練：研究團隊將一致性自注意力插入到現有圖像生成模型的U-Net架構中，并重用原有的自注意力權重，以保持無需訓練和即插即用的特性。

• 高效能與穩健性：StoryDiffusion在保持角色特性的同時，還能夠很好地符合提示描述，顯示出其穩健性。這表明該方法在定量指標上取得了最佳性能。

StoryDiffusion通過一致性自注意力機制，不僅能夠生成連貫的圖像和視頻，還能應用于多種實際場景，如教育、廣告和娛樂等，同時具備高效能和穩健性。

GitHub 項目：相關項目已經在 GitHub 上獲得了 1k 的 Star 量，GitHub 地址為：https://github.com/HVision-NKU/StoryDiffusion。

論文和演示：有關 StoryDiffusion 的更多技術細節和實驗結果可以在論文《StoryDiffusion: Consistent Self-Attention for long-range image and video generation》中找到，論文地址為：https://arxiv.org/pdf/2405.01434v1