Ghibli-Diffusion是什么？

Ghibli-Diffusion是一個(gè)基于Stable Diffusion模型微調(diào)的文本到圖像生成模型，專門用于生成具有吉卜力工作室（Studio Ghibli）風(fēng)格的動(dòng)畫圖像。這個(gè)模型由ai藝術(shù)家 nitrosocke 開發(fā)，訓(xùn)練數(shù)據(jù)來(lái)源于吉卜力工作室的現(xiàn)代動(dòng)畫電影。

Ghibli-Diffusion核心功能

• 文本到圖像生成：用戶可以通過(guò)輸入文本提示詞（如“ghibli style”）來(lái)生成具有吉卜力風(fēng)格的圖像。

• 圖像到圖像轉(zhuǎn)換：用戶可以上傳現(xiàn)有圖片，并將其轉(zhuǎn)換為吉卜力風(fēng)格的圖像。

• 支持多種場(chǎng)景和對(duì)象：模型能夠生成各種場(chǎng)景（如海灘、冰原、北極光等）和特定對(duì)象（如風(fēng)暴兵、大眾甲殼蟲汽車等）。

Ghibli-Diffusion技術(shù)特點(diǎn)

• 擴(kuò)散模型技術(shù)：基于擴(kuò)散模型的正向和反向過(guò)程，逐步從噪聲中重建出清晰的圖像。

• 訓(xùn)練方法：采用 dreambooth 訓(xùn)練方法，結(jié)合先驗(yàn)保留損失（prior-preservation loss）和文本編碼器訓(xùn)練標(biāo)志，確保生成圖像的高質(zhì)量。

• 性能優(yōu)化：最新版本在保持吉卜力風(fēng)格的基礎(chǔ)上，引入更多細(xì)節(jié)和個(gè)性化元素，生成速度更快。

Ghibli-Diffusion使用場(chǎng)景

• 創(chuàng)意設(shè)計(jì)：藝術(shù)家和設(shè)計(jì)師可以快速生成概念藝術(shù)、壁紙、海報(bào)等。

• 故事創(chuàng)作：幫助創(chuàng)作者將想象中的場(chǎng)景和角色轉(zhuǎn)化為視覺藝術(shù)。

• 個(gè)性化內(nèi)容：用戶可以將自己的照片轉(zhuǎn)換為吉卜力風(fēng)格，用于社交媒體或個(gè)人藝術(shù)項(xiàng)目。

Ghibli-Diffusion使用教程

• 文本提示：在提示詞中加入“ghibli style”，描述你想要生成的圖像內(nèi)容。

• 調(diào)整參數(shù)：根據(jù)需要調(diào)整采樣器、CFG scale和步數(shù)等設(shè)置，以優(yōu)化生成效果。

• 負(fù)提示詞：使用負(fù)提示詞排除不希望出現(xiàn)的元素，提高生成圖像的質(zhì)量。

優(yōu)勢(shì)與局限性

優(yōu)勢(shì)：

• 高質(zhì)量的吉卜力風(fēng)格圖像。

• 快速生成，平均生成一張圖像僅需5秒。

• 靈活性高，支持多種創(chuàng)作需求。

局限性：

• 生成的圖像可能在某些復(fù)雜場(chǎng)景下不夠完美。

• 對(duì)計(jì)算資源要求較高，需要較強(qiáng)的GPU支持。

示例代碼

from diffusers import StableDiffusionPipeline
import torch
model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]
image.save("./magical_princess.png")

huggingface演示：https://huggingface.co/nitrosocke/Ghibli-Diffusion