Diffutoon 是一項突破性的卡通著色進步，植根于擴散模型，可將逼真的視頻無縫地轉變為動漫視覺風格。該方法將卡通著色挑戰分解為四個可辨別的方面：風格化、一致性增強、結構指導和著色。其主要卡通著色管道由植根于動漫風格擴散原理的多模塊去噪模型推動，擁有令人印象深刻的渲染詳細、高分辨率和長時間視頻的能力。編輯分支的合并有助于根據提供的提示進行內容操作。通過閃存注意力的戰略集成巧妙地緩解了 GPU 內存限制，從而實現高達 1536 x 1536 的分辨率。

Diffutoon 能夠以動漫風格渲染出細致、高分辨率、以及延長時間的視頻。它還可以通過額外的分支編輯內容。Diffutoon 的有效性通過數值指標和人類評估進行評估。值得注意的是，Diffutoon 在我們的實驗中超越了開源和閉源基線方法。

Diffutoon 的主要功能：

• 將真實感視頻轉換成各種動漫風格

• 根據用戶提示編輯視頻內容，例如改變顏色或添加特效。
  

• 詳細保留了光照、頭發和姿勢等細節，同時保持了與動畫風格密切相關的視覺效果。

• 保持視頻內容的一致性，避免閃爍和失真。

• 能夠生成高分辨率、長時間的視頻。

Diffutoon 的主要特點：

• 高分辨率輸出：Diffutoon 可以處理超高分辨率的視頻，使其適合專業級動畫和視頻項目。

• 一致性增強：它確保跨幀的風格化一致，這對于保持動畫序列的視覺連貫性至關重要。

• 可編輯內容：該方法允許根據提示進行內容編輯，為創作過程提供靈活性。

• 結構指導和著色：Diffutoon 結合了結構指導和著色，以增強風格化輸出的視覺吸引力和準確性。

Diffutoon 應用：

• 動畫制作：Diffutoon 可用于動畫創作，將真人鏡頭或其他類型的視頻轉換為動畫風格的動畫。

• 視頻編輯：它能夠根據提示編輯視頻內容，這使其成為希望將動漫美學融入其項目的視頻編輯者的強大工具。

• 創意項目：藝術家和創作者可以使用 Diffutoon 在其視頻內容中嘗試不同的風格和效果。

論文：https://arxiv.org/pdf/2401.16224

Github：https://github.com/modelscope/DiffSynth-Studio

項目：https://ecnu-cilab.github.io/DiffutoonProjectPage/