MagicColor是什么？

MagicColor 是由香港科技大學（廣州）提出的一款基于擴散模型的多實例線稿上色框架。用戶僅需上傳一張黑白線稿和若干參考圖像，系統便能在數秒內自動完成精準且自然的色彩填充，同時保持多個實例之間的一致性。與傳統方法相比，MagicColor 實現了一步到位的上色，大大提升設計效率。

MagicColor 核心功能

• 一鍵式上色：用戶只需提供線稿圖像和參考圖像，系統自動完成上色。

• 多實例處理：能夠自動識別并區分線稿中的多個實例（如多個角色），并為每個實例分配合適的顏色。

• 高效生成：從上傳到生成結果僅需幾秒，適合快速創作場景。

MagicColor 技術原理

• 自訓練策略：解決多實例訓練數據不足的問題。

• 實例引導器：為每個實例提供顏色信息。

• 邊緣損失與細粒度顏色匹配：提高視覺質量和顏色匹配的準確性。

MagicColor 應用場景

• 動漫制作：快速生成彩色角色圖，提升創作效率。

• 游戲角色設計：高效產出符合風格的角色圖像。

• 廣告插圖：快速生成高質量的插圖。

MagicColor 優勢

• 細節處理：在保持圖像邊緣清晰度和避免顏色混淆方面表現優異。

• 靈活性：支持多種風格的參考圖像，如真人照片、動漫截圖等。

• 快速生成：從上傳到完成僅需幾秒，節省大量時間。

MagicColor安裝使用方法

一、環境搭建

1. 創建 Python 環境：

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. 克隆倉庫：

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

二、數據準備

準備數據集，格式如下：

data/
├── dir_name
├── masks/
├── dir_name.jpg  # 線稿圖像
├── dir_name_1.jpg  # 參考圖像 1
├── ...

下載預訓練權重（見 GitHub 說明）。

三、推理

運行推理腳本：

cd scripts
bash multi_ref_infer.sh

四、訓練

運行訓練腳本：

cd scripts
bash multi_ref_train.sh

五、交互界面

啟動 Gradio 應用：

cd inference
python gradio_app.py

MagicColor可自動將黑白線稿轉化為色彩鮮艷的圖像，支持真人照片、動漫截圖等多種風格參考圖像，支持PNG 和 JPG 格式，大大提升動漫設計、游戲角色創作效率。