圖像上色（Image Colorization）是一項經典的計算機視覺任務，在許多現實世界的應用中具有巨大的潛力，例如老照片修復、電影重制和藝術創作等。給定一個灰度圖像，圖像上色旨在恢復其缺失的兩個顏色通道，這個問題具有多模態不確定性，因為一個物體可能有多個似是而非的顏色。因此，圖像上色一直是一個具有挑戰性的問題。

隨著 DDColor 的推出，圖像著色領域見證了變革性的飛躍，這是一種使用雙解碼器的新方法。DDColor 是魔搭大模型最新的圖像上色算法，輸入一張黑白圖像，返回上色處理后的彩色圖像，并能夠實現自然生動的上色效果。

DDColor 由阿里巴巴集團達摩院的 Xiaoyang Kang、Tao Yang、Wenqi Ouyang、Peiran 任、Lingzhi Li 和 Xuansong Xie 開發，在產生逼真的色彩方面脫穎而出，尤其是在具有多個對象和不同上下文的復雜場景中。

DDColor使用雙解碼器技術，能夠同時考慮色彩分布和像素級詳細信息，能實現高度真實的圖像上色效果。

DDColor 不僅能給歷史黑白照片上色，還能對動漫或游戲中的風景進行真實風格的上色。將動畫場景轉化為現實生活風格。

DDColor使用了雙解碼器來處理圖片：

一個是恢復圖片的結構，另一個是決定圖片每個部分的顏色。

這項技術的創新之處在于它不需要像以前的方法那樣依賴于人工設置的規則，而是能夠自己學習圖片的內容并決定合適的顏色。

通過這種方式，DDColor可以更準確地給復雜場景的圖片上色，減少顏色錯誤涂抹的問題，并且使得最終的圖片看起來色彩更豐富、更自然。

DDColor安裝：

步驟1：設置環境

首先設置 Python 環境。確保已安裝 PyTorch，因為 DDColor 的神經網絡實現嚴重依賴此框架。

步驟2：數據準備

準備用于訓練和測試的數據集。DDColor 適用于灰度和彩色圖像。對于訓練，請使用包含各種圖像的數據集來捕獲不同的顏色空間和場景。

步驟3：模型架構

定義 DDColor 的體系結構，包括像素解碼器和顏色解碼器。確保您的模型架構與數據集的復雜性保持一致。

如何使用DDColor？

在 ModelScope 框架上，提供輸入圖片，即可以通過簡單的 Pipeline 調用來使用圖像上色模型。

總之，DDColor 使用多尺度視覺特征來優化可學習的顏色標記（即顏色查詢），并在自動圖像著色方面實現最先進的性能。

論文 & 代碼

論文鏈接：https://arxiv.org/abs/2212.11613

ModelScope應用：https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

開源代碼：https://github.com/piddnad/DDColor