
AnyDoor
AnyDoor簡介
AnyDoor,由香港大學、阿里巴巴和螞蟻集團聯合研發AnyDoor,可以將一張照片上的任何物品傳送到另一張圖片的世界中。
AnyDoor項目地址:https://damo-vilab.github.io/AnyDoor-Page/
AnyDoor在線演示地址:https://huggingface.co/spaces/xichenhku/AnyDoor-online
AnyDoor功能:
對象移動:AnyDoor 可以應用于對象移動等花哨的任務。
對象交換:AnyDoor 也可以擴展為進行對象交換。
虛擬試妝:AnyDoor還可以作為虛擬試妝的簡單但強大的基準。它可以保留不同衣服的顏色、圖案和紋理,而無需復雜的人工解析。
多主體合成::由于 AnyDoor 具有高度可控性,可將對象放置在給定場景的特定位置,因此很容易擴展到多主題構圖。
AnyDoor使用場景:
在虛擬試穿應用中,用戶可以將選定的衣物快速定制到自己的照片中。
在物體移動應用中,用戶可以將目標物體從一張照片移動到另一張照片中的指定位置。
在設計領域中,用戶可以將自己設計的家具或裝飾品定制到不同的室內場景中,以獲得更直觀的效果預覽。
AnyDoor是一種基于擴散的圖像生成器,能夠以和諧的方式將目標物體傳送到用戶指定位置的新場景。 我們的模型不是為每個對象調整參數,而是只訓練一次,并在推理階段毫不費力地泛化到不同的對象-場景組合。 如此具有挑戰性的零樣本設置需要對特定物體進行充分的表征。
為此,我們用細節特征來補充常用的身份特征,這些特征經過精心設計,以保持紋理細節,同時允許多種局部變化(例如,照明、方向、姿勢等),支持物體與不同環境的有利融合。 我們進一步建議從視頻數據集中借用知識,在那里我們可以觀察到單個物體的各種形式(即沿時間軸),從而實現更強的模型泛化性和魯棒性。
大量的實驗證明了我們的方法優于現有的替代方案,以及它在實際應用中的巨大潛力,如虛擬試妝和物體移動。