MimicBrush:對(duì)目標(biāo)圖像選定區(qū)域自動(dòng)進(jìn)行局部編輯或替換
MimicBrush,港大&阿里聯(lián)合提出的一個(gè)對(duì)目標(biāo)圖像選定區(qū)域自動(dòng)進(jìn)行局部編輯或替換的圖像編輯神器,用戶只需指明想要編輯的區(qū)域,再配上一張參考圖,MimicBrush就能智能捕捉兩者間的聯(lián)系,目標(biāo)圖像就可以根據(jù)參考圖換成參考圖的樣子。也就是說,你上傳圖片,選擇圖片中的某一個(gè)部分,比如一個(gè)人的衣服、頭發(fā)、背景等,然后再上傳一張你喜歡的參考圖片。MimicBrush就會(huì)根據(jù)參考圖片自動(dòng)編輯你選擇圖片的那一部分,讓它看起來像參考圖片中的那樣,這樣你就可以只修改圖片的某一部分,而不是整個(gè)圖片。而且MimicBrush還很智能地將參考圖像中的紋理(如豹紋、花紋、木紋等)提取出來,然后換到目標(biāo)圖像中。
MimicBrush的功能特征:
參考圖像模仿:用戶可以在目標(biāo)圖像上圈定希望編輯的特定區(qū)域,然后提供一張包含所需樣式或?qū)ο蟮膮⒖紙D像。MimicBrush能夠分析并模仿參考圖像中的特定視覺特征,將這些特征無縫應(yīng)用到源圖像的指定區(qū)域,實(shí)現(xiàn)風(fēng)格或內(nèi)容的一致性。
零樣本圖像編輯:用戶無需提供大量樣本或進(jìn)行復(fù)雜的訓(xùn)練,即可實(shí)現(xiàn)圖像風(fēng)格的轉(zhuǎn)換。
自監(jiān)督學(xué)習(xí):MimicBrush利用自監(jiān)督學(xué)習(xí)技術(shù),增強(qiáng)語義對(duì)齊能力,使得模型能夠自監(jiān)督地捕捉不同圖像之間的語義對(duì)應(yīng)關(guān)系。
局部風(fēng)格重繪:MimicBrush可以將一張圖片的某一部分融合到另一張圖片上,實(shí)現(xiàn)局部風(fēng)格的重繪。
MimicBrush的使用:
用戶通過簡(jiǎn)單的步驟就可以在網(wǎng)頁上使用MimicBrush,先上傳目標(biāo)圖像,繪制或上傳編輯區(qū)域的遮罩圖,然后上傳參考圖,點(diǎn)擊一下就可以開始編輯了。
MimicBrush適合在電商商品展示、圖片編輯和內(nèi)容遷移等場(chǎng)景。
項(xiàng)目地址:https://xavierchen34.github.io/MimicBrush-Page/
Github:https://github.com/ali-vilab/MimicBrush
HuggingFace:https://huggingface.co/spaces/xichenhku/MimicBrush