HairFastGan:一種虛擬發型試戴框架,能夠實現接近實時的發型轉移
HairFastGAN 是什么?
HairFastGAN 是一種虛擬發型試戴框架,能夠在高分辨率下實現接近實時的發型轉移。它通過在 StyleGAN 的 FS 隱空間中操作,結合增強的修復方法和改進的編碼器,解決了復雜姿態下的發型對齊、顏色轉移和細節修復問題,特別是在復雜發型和姿態差異較大的場景更出色。
HairFastGAN 核心特點
高效性:與傳統的基于優化過程的發型轉移方法相比,HairFastGAN 采用編碼器架構,在保證高分辨率輸出的同時,能夠實現接近實時的性能。在最復雜的發型形狀和顏色轉移場景中,該方法在 Nvidia V100 GPU 上的運行時間不到一秒。
高質量重建:HairFastGAN框架通過在 StyleGAN 的 FS 隱空間中操作、增強的修復方法以及改進的編碼器,實現了更好的對齊、顏色轉移和后處理,從而在隨機發型轉移和重建原始發型時表現出色。
姿態適應性:傳統的發型轉移方法在源姿態與目標姿態差異較大時表現不佳,而 HairFastGAN 通過考慮姿態信息,能夠有效地處理這種差異。
HairFastGAN 方法
嵌入(Embedding):將輸入圖像和參考圖像嵌入到 StyleGAN 的 FS 隱空間中,同時獲取分割掩碼。
對齊(Alignment):通過形狀模塊將參考圖像中的發型形狀轉移到目標圖像上。
混合(Blending):通過編輯源圖像的 S 空間,將參考圖像中的發色轉移到目標圖像上。
后處理(Post-Processing):恢復原始圖像中丟失的細節,確保面部身份的保留和結果的真實性。
HairFastGAN 應用場景
美發行業:虛擬發型試戴,幫助客戶快速預覽不同發型效果,提升美發設計體驗。
時尚與美妝:用于時尚雜志、廣告設計,以及個人形象設計,快速生成多種發型方案。
娛樂與游戲:在游戲中定制角色發型,或在社交媒體中作為濾鏡實時試用。
醫療康復:幫助植發患者預覽術后效果,或為脫發患者提供心理康復輔助。
HairFastGAN使用方法
1. 安裝依賴
首先,確保你的環境已安裝 Python 和必要的依賴庫。可以通過以下命令安裝:
pip install torch torchvision pip install git+https://github.com/NVlabs/stylegan2-ada-pytorch.git
2. 克隆項目代碼
從 GitHub 克隆 HairFastGAN 的代碼:
git clone https://github.com/AIRI-Institute/HairFastGAN.git cd HairFastGAN
3. 下載預訓練模型
從 Hugging Face 或項目提供的鏈接下載預訓練模型文件,并將其放置到指定目錄(如 models/)。
4. 準備輸入圖像
輸入照片:需要一張包含人臉的高清照片。
參考照片:包含目標發型的參考照片。
確保輸入照片和參考照片的分辨率和格式符合要求。
5. 運行代碼
運行以下命令進行發型轉移:
python run.py --input <input_image_path> --ref <reference_image_path> --model <model_path>
<input_image_path>:輸入照片的路徑。
<reference_image_path>:參考照片的路徑。
<model_path>:預訓練模型的路徑。
6. 查看結果
運行完成后,生成的發型轉移結果將保存到指定的輸出目錄(如 output/)。
相關鏈接
GitHub 項目:https://github.com/AIRI-Institute/HairFastGAN
項目主頁:https://airi-institute.github.io/HairFastGAN/
體驗試用:https://huggingface.co/spaces/AIRI-Institute/HairFastGAN
Hugging Face 模型:https://huggingface.co/AIRI-Institute/HairFastGAN
論文:https://arxiv.org/abs/2404.01094