Janus-Pro 是由 DeepSeek 發(fā)布的一款DeepSeek開發(fā)的多模態(tài)理解與生成模型，專注于圖像生成和多模態(tài)理解任務(wù)，它采用自回歸框架，能夠統(tǒng)一理解和生成多模態(tài)信息。與傳統(tǒng)方法不同，Janus-Pro 通過將視覺編碼過程拆分為多個(gè)獨(dú)立路徑，解決了以往方法的局限性，提升了模型在不同任務(wù)中的適配性和性能。Janus-Pro 在 GenEval 和 DPG-Bench 基準(zhǔn)測試中表現(xiàn)優(yōu)異，甚至超越了 Stable Diffusion 和 Openai 的 DALL-E 3。

Janus-Pro核心功能：

Janus-Pro 是一個(gè)統(tǒng)一的多模態(tài)模型，能夠同時(shí)處理圖像生成和多模態(tài)理解任務(wù)，主要功能有：

• 文生圖（Text-to-Image）：根據(jù)文本描述生成高質(zhì)量圖像，支持復(fù)雜場景的精準(zhǔn)還原和細(xì)節(jié)優(yōu)化。

• 多模態(tài)理解：能夠理解圖像內(nèi)容并生成相關(guān)描述，支持視覺問答、圖像標(biāo)注等任務(wù)。

• 多模態(tài)生成：不僅生成圖像，還能對生成的圖像進(jìn)行描述、識(shí)別文字和地標(biāo)信息，實(shí)現(xiàn)更豐富的交互體驗(yàn)。

Janus-Pro技術(shù)特點(diǎn)

• 自回歸框架：采用解耦的視覺編碼路徑，將“理解”和“生成”任務(wù)分離，解決了傳統(tǒng)模型中視覺編碼器在兩種任務(wù)中的沖突問題。

• 高效訓(xùn)練：通過 7200 萬張高質(zhì)量合成圖像進(jìn)行預(yù)訓(xùn)練，提升了模型的生成能力和穩(wěn)定性。

• 統(tǒng)一架構(gòu)：基于 Transformer 架構(gòu)，整合了多模態(tài)理解和生成任務(wù)，簡化了模型設(shè)計(jì)并提高了靈活性。

• 本地運(yùn)行支持：Janus-Pro 的 7B 參數(shù)版本可以在消費(fèi)級 GPU 上運(yùn)行，降低了硬件門檻。

Janus-Pro性能表現(xiàn)

• 超越 DALL-E 3 和 Stable Diffusion：在 GenEval 和 DPG-Bench 測試中，Janus-Pro 的準(zhǔn)確率和圖像質(zhì)量均優(yōu)于 DALL-E 3 和 Stable Diffusion。

• 復(fù)雜場景理解：在復(fù)雜場景的文本-圖像對齊度和細(xì)節(jié)還原方面表現(xiàn)突出。

• 高效推理：支持單卡運(yùn)行，推理效率高，適合企業(yè)和個(gè)人用戶使用。

Janus-Pro應(yīng)用場景

• 圖像生成：在圖像生成任務(wù)中表現(xiàn)出色。

• 文本到圖像：增強(qiáng)了文本到圖像生成的穩(wěn)定性。

• 創(chuàng)意設(shè)計(jì)：幫助設(shè)計(jì)師快速生成高質(zhì)量圖像素材，提升創(chuàng)作效率。

• 教育與研究：用于生成教學(xué)素材或輔助科學(xué)研究中的圖像分析。

• 商業(yè)應(yīng)用：支持廣告設(shè)計(jì)、產(chǎn)品展示等場景，滿足企業(yè)對高質(zhì)量圖像的需求。

• 多模態(tài)交互：用于智能助手、虛擬現(xiàn)實(shí)等需要圖像理解和生成的場景。

Janus-Pro的設(shè)計(jì)基于DeepSeek-LLM-1.5b-base和DeepSeek-LLM-7b-base模型，支持多模態(tài)理解和生成任務(wù)。它使用SigLIP-L作為視覺編碼器，能夠處理384 x 384像素的圖像輸入，并在圖像生成任務(wù)中采用特定來源的分詞器，降采樣率為。這種架構(gòu)的靈活性和高效性使得Janus-Pro在多模態(tài)任務(wù)中表現(xiàn)出色，超越了傳統(tǒng)的統(tǒng)一模型，并在與任務(wù)特定模型的比較中也同樣表現(xiàn)出色。

Janus-Pro 基于 MIT 許可證開源，用戶可以免費(fèi)下載并使用，且不受商業(yè)用途限制。DeepSeek 還提供了詳細(xì)的部署指南，支持用戶在本地環(huán)境中快速部署模型。

論文：https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf

Github下載：https://github.com/deepseek-ai/Janus

在線演示：https://huggingface.co/deepseek-ai/Janus-Pro-7B

相關(guān)資訊：

如何在本地部署DeepSeek Janus Pro？

Janus-Pro與JanusFlow有什么不同與共同點(diǎn)？

DeepSeek深夜發(fā)布全新多模態(tài)AI模型：Janus-Pro與JanusFlow