DiffusionGPT，字節(jié)跳動開發(fā)的由LLM驅(qū)動文本生成圖像多合一系統(tǒng)，專門設(shè)計用于為不同的輸入提示生成高質(zhì)量的圖像。其主要目標是解析輸入提示并確定產(chǎn)生最優(yōu)結(jié)果的生成模型，該模型具有高泛化、高效用和方便的特點。

DiffusionGPT的牛P之處在于它集成了多種領(lǐng)域的專家圖像生成模型。然后使用LLM來對接這些圖像生成模型，讓LLM來處理和理解各種文本提示。最后根據(jù)理解的信息選擇最合適的圖像模型來生成圖像。這樣就和GPT 4一樣，通過聊天畫圖...

DiffusionGPT主要特點：

1、多樣化文本提示處理：DiffusionGPT 能夠理解和處理各種類型的文本提示，包括具體的指令、抽象的靈感、復(fù)雜的假設(shè)等。

2、集成多個領(lǐng)域?qū)＜夷Ｐ停合到y(tǒng)集成了多種領(lǐng)域的圖像擴散模型，每個模型在其特定領(lǐng)域具有專業(yè)的圖像生成能力。這類模型專注于特定領(lǐng)域的圖像生成，比如自然景觀、人物肖像、藝術(shù)作品等。

這意味著系統(tǒng)不僅能夠生成普通的圖像，還能夠處理更特定、更復(fù)雜的圖像生成任務(wù)，比如特定風格或類型的圖像。模仿特定藝術(shù)家的風格、漫畫風格或攝影技術(shù)。

3、大語言模型驅(qū)動：DiffusionGPT 使用大語言模型（LLM）來解析和理解用戶輸入的文本提示。這個過程類似于其他基于 LLM 的系統(tǒng)（如 GPT-4）處理文本的方式，但特別應(yīng)用于理解用于圖像生成的指令和描述。

4、智能選擇合適的圖像模型：基于對文本提示的理解，DiffusionGPT 能夠智能地選擇最合適的圖像生成模型來生成圖像。這不僅包括選擇正確的模型，還涉及調(diào)整生成參數(shù)以最好地滿足用戶的需求。

5、輸出高質(zhì)量圖像：通過精準地匹配文本提示與最佳生成模型，DiffusionGPT 能生成高質(zhì)量、與用戶需求高度吻合的圖像。

6、用戶反饋與優(yōu)勢數(shù)據(jù)庫：結(jié)合用戶反饋和優(yōu)勢數(shù)據(jù)庫，系統(tǒng)能夠根據(jù)用戶偏好調(diào)整模型選擇，提升圖像生成的相關(guān)性和質(zhì)量。

例如：在系統(tǒng)的早期使用中，用戶可能提供對生成圖像的反饋，比如“這張圖片的顏色太暗了”。DiffusionGPT 利用這些反饋來調(diào)整其模型選擇，使得未來的圖像生成更符合用戶的偏好。

DiffusionGPT主要工作原理：

1、輸入解析：用戶提供文本提示，如描述、指令或靈感。

大型語言模型（LLM）負責解析這些文本提示，理解其含義和需求。

2、思維樹（Tree-of-Thought）構(gòu)建：根據(jù)不同的圖像生成任務(wù)，系統(tǒng)構(gòu)建了一個“思維樹”，這是一種組織不同圖像生成模型的結(jié)構(gòu)。

思維樹基于先驗知識和人類反饋，涵蓋了多種領(lǐng)域的專家級模型。

3、模型選擇：根據(jù) LLM 解析的結(jié)果，系統(tǒng)通過思維樹來確定最適合當前文本提示的圖像生成模型。在選擇過程中，可能還會考慮用戶的偏好和歷史反饋，這些信息存儲在優(yōu)勢數(shù)據(jù)庫中。

4、圖像生成：一旦選定了合適的模型，該模型就會被用來生成圖像。生成的圖像將與輸入的文本提示緊密相關(guān)，并反映出用戶的意圖和偏好。

5、結(jié)果輸出：最終生成的圖像會呈現(xiàn)給用戶。

這些圖像可以是多樣化的，包括但不限于具體描述的場景、概念藝術(shù)作品或符合特定風格的圖像。

6、用戶反饋優(yōu)化過程：

用戶對生成圖像的反饋被用來豐富優(yōu)勢數(shù)據(jù)庫，進而幫助系統(tǒng)更好地理解用戶偏好，優(yōu)化后續(xù)的模型選擇和圖像生成。

DiffusionGPT 在生成人類和場景等類別的圖像時展現(xiàn)了高度的真實性和細節(jié)。與基準模型（如 SD1.5）相比，DiffusionGPT 生成的圖像在視覺保真度、捕捉細節(jié)方面有明顯提升。DiffusionGPT 在圖像獎勵和美學(xué)評分方面的表現(xiàn)優(yōu)于傳統(tǒng)的穩(wěn)定擴散模型。在進行圖像生成質(zhì)量的量化評估時，DiffusionGPT 展示了較高的評分，說明其生成的圖像在質(zhì)量和美學(xué)上更受青睞。