Diffutoon 是一項(xiàng)突破性的卡通著色進(jìn)步，植根于擴(kuò)散模型，可將逼真的視頻無縫地轉(zhuǎn)變?yōu)閯?dòng)漫視覺風(fēng)格。該方法將卡通著色挑戰(zhàn)分解為四個(gè)可辨別的方面：風(fēng)格化、一致性增強(qiáng)、結(jié)構(gòu)指導(dǎo)和著色。其主要卡通著色管道由植根于動(dòng)漫風(fēng)格擴(kuò)散原理的多模塊去噪模型推動(dòng)，擁有令人印象深刻的渲染詳細(xì)、高分辨率和長時(shí)間視頻的能力。編輯分支的合并有助于根據(jù)提供的提示進(jìn)行內(nèi)容操作。通過閃存注意力的戰(zhàn)略集成巧妙地緩解了 GPU 內(nèi)存限制，從而實(shí)現(xiàn)高達(dá) 1536 x 1536 的分辨率。

Diffutoon 能夠以動(dòng)漫風(fēng)格渲染出細(xì)致、高分辨率、以及延長時(shí)間的視頻。它還可以通過額外的分支編輯內(nèi)容。Diffutoon 的有效性通過數(shù)值指標(biāo)和人類評估進(jìn)行評估。值得注意的是，Diffutoon 在我們的實(shí)驗(yàn)中超越了開源和閉源基線方法。

Diffutoon 的主要功能：

• 將真實(shí)感視頻轉(zhuǎn)換成各種動(dòng)漫風(fēng)格

• 根據(jù)用戶提示編輯視頻內(nèi)容，例如改變顏色或添加特效。
  

• 詳細(xì)保留了光照、頭發(fā)和姿勢等細(xì)節(jié)，同時(shí)保持了與動(dòng)畫風(fēng)格密切相關(guān)的視覺效果。

• 保持視頻內(nèi)容的一致性，避免閃爍和失真。

• 能夠生成高分辨率、長時(shí)間的視頻。

Diffutoon 的主要特點(diǎn)：

• 高分辨率輸出：Diffutoon 可以處理超高分辨率的視頻，使其適合專業(yè)級動(dòng)畫和視頻項(xiàng)目。

• 一致性增強(qiáng)：它確保跨幀的風(fēng)格化一致，這對于保持動(dòng)畫序列的視覺連貫性至關(guān)重要。

• 可編輯內(nèi)容：該方法允許根據(jù)提示進(jìn)行內(nèi)容編輯，為創(chuàng)作過程提供靈活性。

• 結(jié)構(gòu)指導(dǎo)和著色：Diffutoon 結(jié)合了結(jié)構(gòu)指導(dǎo)和著色，以增強(qiáng)風(fēng)格化輸出的視覺吸引力和準(zhǔn)確性。

Diffutoon 應(yīng)用：

• 動(dòng)畫制作：Diffutoon 可用于動(dòng)畫創(chuàng)作，將真人鏡頭或其他類型的視頻轉(zhuǎn)換為動(dòng)畫風(fēng)格的動(dòng)畫。

• 視頻編輯：它能夠根據(jù)提示編輯視頻內(nèi)容，這使其成為希望將動(dòng)漫美學(xué)融入其項(xiàng)目的視頻編輯者的強(qiáng)大工具。

• 創(chuàng)意項(xiàng)目：藝術(shù)家和創(chuàng)作者可以使用 Diffutoon 在其視頻內(nèi)容中嘗試不同的風(fēng)格和效果。

論文：https://arxiv.org/pdf/2401.16224

Github：https://github.com/modelscope/DiffSynth-Studio

項(xiàng)目：https://ecnu-cilab.github.io/DiffutoonProjectPage/