Diffutoon
Diffutoon簡介
Diffutoon 是一項(xiàng)突破性的卡通著色進(jìn)步,植根于擴(kuò)散模型,可將逼真的視頻無縫地轉(zhuǎn)變?yōu)閯?dòng)漫視覺風(fēng)格。該方法將卡通著色挑戰(zhàn)分解為四個(gè)可辨別的方面:風(fēng)格化、一致性增強(qiáng)、結(jié)構(gòu)指導(dǎo)和著色。其主要卡通著色管道由植根于動(dòng)漫風(fēng)格擴(kuò)散原理的多模塊去噪模型推動(dòng),擁有令人印象深刻的渲染詳細(xì)、高分辨率和長時(shí)間視頻的能力。編輯分支的合并有助于根據(jù)提供的提示進(jìn)行內(nèi)容操作。通過閃存注意力的戰(zhàn)略集成巧妙地緩解了 GPU 內(nèi)存限制,從而實(shí)現(xiàn)高達(dá) 1536 x 1536 的分辨率。

Diffutoon 能夠以動(dòng)漫風(fēng)格渲染出細(xì)致、高分辨率、以及延長時(shí)間的視頻。它還可以通過額外的分支編輯內(nèi)容。Diffutoon 的有效性通過數(shù)值指標(biāo)和人類評估進(jìn)行評估。值得注意的是,Diffutoon 在我們的實(shí)驗(yàn)中超越了開源和閉源基線方法。
Diffutoon 的主要功能:
將真實(shí)感視頻轉(zhuǎn)換成各種動(dòng)漫風(fēng)格
根據(jù)用戶提示編輯視頻內(nèi)容,例如改變顏色或添加特效。
詳細(xì)保留了光照、頭發(fā)和姿勢等細(xì)節(jié),同時(shí)保持了與動(dòng)畫風(fēng)格密切相關(guān)的視覺效果。
保持視頻內(nèi)容的一致性,避免閃爍和失真。
能夠生成高分辨率、長時(shí)間的視頻。
Diffutoon 的主要特點(diǎn):
高分辨率輸出:Diffutoon 可以處理超高分辨率的視頻,使其適合專業(yè)級動(dòng)畫和視頻項(xiàng)目。
一致性增強(qiáng):它確保跨幀的風(fēng)格化一致,這對于保持動(dòng)畫序列的視覺連貫性至關(guān)重要。
可編輯內(nèi)容:該方法允許根據(jù)提示進(jìn)行內(nèi)容編輯,為創(chuàng)作過程提供靈活性。
結(jié)構(gòu)指導(dǎo)和著色:Diffutoon 結(jié)合了結(jié)構(gòu)指導(dǎo)和著色,以增強(qiáng)風(fēng)格化輸出的視覺吸引力和準(zhǔn)確性。

Diffutoon 應(yīng)用:
動(dòng)畫制作:Diffutoon 可用于動(dòng)畫創(chuàng)作,將真人鏡頭或其他類型的視頻轉(zhuǎn)換為動(dòng)畫風(fēng)格的動(dòng)畫。
視頻編輯:它能夠根據(jù)提示編輯視頻內(nèi)容,這使其成為希望將動(dòng)漫美學(xué)融入其項(xiàng)目的視頻編輯者的強(qiáng)大工具。
創(chuàng)意項(xiàng)目:藝術(shù)家和創(chuàng)作者可以使用 Diffutoon 在其視頻內(nèi)容中嘗試不同的風(fēng)格和效果。
論文:https://arxiv.org/pdf/2401.16224
Github:https://github.com/modelscope/DiffSynth-Studio
項(xiàng)目:https://ecnu-cilab.github.io/DiffutoonProjectPage/
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺







