PhotoDoodle是什么？

PhotoDoodle ai 是一款由字節(jié)跳動(dòng)與來(lái)自中國(guó)和新加坡大學(xué)的研究團(tuán)隊(duì)基于Flux.1模型合作開(kāi)發(fā)的圖像編輯系統(tǒng)。這一技術(shù)的亮點(diǎn)在于能夠從少量樣本中學(xué)習(xí)并模仿特定的藝術(shù)風(fēng)格，然后將用戶(hù)的照片轉(zhuǎn)換成不同藝術(shù)風(fēng)格的作品。

PhotoDoodle的功能特征

• 智能風(fēng)格遷移：使用 EditLoRA 變體，只提供少量示例，也能夠?qū)W習(xí)個(gè)別藝術(shù)家的風(fēng)格，通過(guò)研究選定的圖像對(duì)，深入學(xué)習(xí)每種藝術(shù)風(fēng)格的細(xì)微差別，這種技術(shù)可以應(yīng)用不同的藝術(shù)風(fēng)格到用戶(hù)的照片上。

• 位置編碼克隆技術(shù)： AI 能夠記住原始圖像中每個(gè)像素的確切位置，當(dāng)添加新元素時(shí)，能夠利用存儲(chǔ)的位置信息將它們精確放置，并無(wú)縫地融入圖像中，無(wú)需額外的參數(shù)訓(xùn)練，大大提高了處理效率，實(shí)現(xiàn)高度定制化的圖像處理。

• 高效學(xué)習(xí)能力：基于Flux.1模型，它能快速學(xué)習(xí)新的藝術(shù)風(fēng)格或編輯技巧，減少對(duì)大量數(shù)據(jù)的依賴(lài)。

• 創(chuàng)意表達(dá)工具：為藝術(shù)家和非專(zhuān)業(yè)用戶(hù)提供一個(gè)平臺(tái)，無(wú)需復(fù)雜的圖像編輯技能，也能創(chuàng)作出具有藝術(shù)感的作品。

PhotoDoodle的應(yīng)用

• 個(gè)人創(chuàng)意分享：用戶(hù)可以將日常照片轉(zhuǎn)化為藝術(shù)作品，分享到社交媒體。

• 廣告與設(shè)計(jì)：品牌和設(shè)計(jì)師可以利用PhotoDoodle快速生成具有特定風(fēng)格的視覺(jué)內(nèi)容，用在廣告宣傳或產(chǎn)品設(shè)計(jì)上。

• 教育與教學(xué)：在藝術(shù)和設(shè)計(jì)課程中，作為教學(xué)工具，幫助學(xué)生理解不同藝術(shù)風(fēng)格的轉(zhuǎn)換過(guò)程。

• 個(gè)性化商品制作：如將個(gè)人照片轉(zhuǎn)換成藝術(shù)風(fēng)格的裝飾畫(huà)、手機(jī)殼等。

PhotoDoodle的使用

數(shù)據(jù)集和開(kāi)源代碼：

• 研究團(tuán)隊(duì)發(fā)布了一個(gè)包含六種不同藝術(shù)風(fēng)格和超過(guò) 300 對(duì)圖像的數(shù)據(jù)集，并在 GitHub 上提供了代碼，用戶(hù)可以訪(fǎng)問(wèn) PhotoDoodle GitHub 獲取更多信息。

操作步驟：

• 用戶(hù)可以通過(guò)提供的代碼和數(shù)據(jù)集，訓(xùn)練模型以實(shí)現(xiàn)個(gè)性化風(fēng)格編輯，或者直接使用預(yù)訓(xùn)練模型進(jìn)行圖像編輯。

PhotoDoodle GitHub：https://github.com/showlab/PhotoDoodle

PhotoDoodle HuggingFace： https://huggingface.co/datasets/nicolaus-huang/PhotoDoodle