DeepSeek團隊推出的一款先進的多模態人工智能模型，目的在于統一視覺理解與生成任務。它通過結合自回歸語言模型（LLM）和校正流（Rectified Flow）技術，實現了在單一模型中同時處理圖像理解和文本到圖像生成的能力。

核心功能

• 圖像理解：能夠分析圖像內容并生成相關描述，支持視覺問答、圖像標注等任務。

• 文本到圖像生成：根據文本描述生成高質量的圖像，適用于創意設計、廣告等領域。

• 多模態任務統一：將理解和生成任務整合到一個模型中，避免了傳統方法中需要維護多個獨立模型的復雜性。

• 端到端訓練：該模型通過將視覺編碼器與自回歸語言模型的理解框架和基于Rectified Flow的生成框架直接融合，實現了端到端的訓練。

技術特點

• 自回歸語言模型與校正流結合：通過將自回歸語言模型與校正流技術融合，JanusFlow 實現了高效的圖像生成和理解能力。校正流是一種基于常微分方程（ODE）的生成建模方法，簡化了訓練過程并提高了生成質量。

• 解耦的視覺編碼器：JanusFlow 為理解和生成任務分別設計了獨立的視覺編碼器，避免了任務間的干擾，同時通過表示對齊策略增強了語義一致性。

• 無分類器引導（CFG）：在圖像生成過程中，JanusFlow 使用 CFG 技術來控制生成圖像與文本條件的對齊，從而提升圖像質量。

性能表現

• 圖像生成：在 GenEval 和 DPG-Bench 測試中，JanusFlow 的表現優于 Stable Diffusion v1.5 和 SDXL，生成圖像的語義準確性和視覺質量均達到領先水平29。

• 圖像理解：在 MMBench、SeedBench 和 GQA 等視覺理解任務中，JanusFlow 的得分分別為 74.9、70.5 和 60.3，超越了多個同規模的專業模型。

技術優勢

• JanusFlow的設計理念在于通過簡約的架構實現復雜的功能，利用預訓練的視覺編碼器與大型語言模型的結合，提升了模型的整體性能和效率。這種創新的架構使得JanusFlow在多模態ai領域中處于領先地位，具備廣泛的應用潛力。

訓練策略

• 適配階段：隨機初始化組件并進行初步訓練，使新模塊與預訓練模型有效配合。

• 統一預訓練：結合多模態理解、圖像生成和純文本數據進行訓練，逐步增加生成數據的比例。

• 監督微調（SFT）：使用指令調優數據對模型進行微調，進一步提升其響應能力和生成質量。

應用場景

• 創意設計：根據文本描述生成高質量圖像，支持廣告、游戲開發等場景。

• 視覺問答：在教育、博物館導覽等領域，提供基于圖像的智能問答服務。

• 多模態內容創作：結合文本和圖像生成新的媒體內容，適用于社交媒體、新聞報道等。

開源與資源

JanusFlow 是一個開源項目，相關資源包括：

GitHub 倉庫：https://github.com/deepseek-ai/Janus

模型下載：Hugging Face

在線體驗：Demo

技術論文：arXiv

相關資訊：

Janus-Pro與JanusFlow有什么不同與共同點？

DeepSeek深夜發布全新多模態AI模型：Janus-Pro與JanusFlow