Ev-DeblurVSR是什么？

Ev-DeblurVSR 是一個通過結(jié)合事件數(shù)據(jù)來增強(qiáng)模糊視頻的超分辨率重建效果的技術(shù) ，來自中國科學(xué)技術(shù)大學(xué)、合肥綜合性國家科學(xué)中心人工智能研究院、新加坡國立大學(xué)等機(jī)構(gòu)，它可以在去除視頻模糊的同時提升視頻分辨率。它在2025年的AAai會議上展示了相關(guān)成果。

Ev-DeblurVSR 的功能

• 視頻去模糊：能搞定視頻里的模糊問題，不管是運(yùn)動模糊還是手抖造成的，都能讓視頻變得清晰。
• 視頻超分辨率：能把低分辨率的模糊視頻變成高分辨率的清晰視頻，最高支持4倍分辨率提升。
• 實(shí)時處理：可以實(shí)時處理圖像和視頻的去模糊，適合用在需要即時效果的場景。

Ev-DeblurVSR 的技術(shù)亮點(diǎn)

• 事件相機(jī)數(shù)據(jù)融合：它用上了事件相機(jī)的數(shù)據(jù)，這種相機(jī)能捕捉光線變化的瞬間，提供更精確的時間信息。
• 雙向特征去模糊模塊（RFD）：利用幀內(nèi)事件的運(yùn)動信息來去除模糊，同時結(jié)合全局場景上下文增強(qiáng)效果。
• 混合可變形對齊模塊（HDA）：結(jié)合幀間事件信息和光流，提升運(yùn)動估計的精度。
• 性能優(yōu)化：在真實(shí)數(shù)據(jù)測試中，Ev-DeblurVSR 比之前的最佳方法 FMA-Net 更準(zhǔn)確（+2.59dB），速度還快了7.28倍。

Ev-DeblurVSR 的應(yīng)用場景

• 視頻監(jiān)控：能清理因攝像頭抖動或其他因素導(dǎo)致的模糊視頻，讓監(jiān)控畫面更清晰。
• 運(yùn)動捕捉：在體育分析、虛擬現(xiàn)實(shí)等領(lǐng)域，為高分辨率視頻需求提供支持。
• 電影后期制作：可以修復(fù)或增強(qiáng)老視頻片段。

常見問題

問：Ev-DeblurVSR 網(wǎng)絡(luò)與其他基于事件的 BVSR 方法相比，優(yōu)勢主要體現(xiàn)在哪些方面？

答：Ev-DeblurVSR 通過互易特征去模糊模塊和混合可變形對齊模塊，更有效地融合幀與事件信息、增強(qiáng)時間一致性。在 GoPro 數(shù)據(jù)集上，它的PSNR 值達(dá) 32.51，高于其他基于事件的方法，如 EFNet + EGVSR 的 23.53 等；在真實(shí)數(shù)據(jù)上，相比 FMA-Net，精度提升 2.59dB 且速度快 7.28 倍。

問：互易特征去模糊模塊是如何具體實(shí)現(xiàn)幀特征去模糊和事件特征增強(qiáng)的？

答：互易特征去模糊模塊利用幀內(nèi)事件運(yùn)動信息對幀特征進(jìn)行去模糊處理，同時借助幀的全局場景上下文來增強(qiáng)事件特征，實(shí)現(xiàn)兩者信息的有效融合與相互提升，具體實(shí)現(xiàn)涉及對幀和事件的特征提取、交互處理等操作。

問：混合可變形對齊模塊中，幀間事件和光流的互補(bǔ)運(yùn)動信息是怎樣協(xié)同工作來改進(jìn)運(yùn)動估計的？

答：混合可變形對齊模塊充分利用幀間事件和光流的互補(bǔ)運(yùn)動信息，通過將兩者的運(yùn)動信息進(jìn)行融合、互補(bǔ)計算，在可變形對齊過程中更準(zhǔn)確地估計物體運(yùn)動，從而增強(qiáng)時間一致性。

項(xiàng)目主頁：https://dachunkai.github.io/ev-deblurvsr.github.io/

論文：https://arxiv.org/pdf/2504.13042

Github：https://github.com/DachunKai/Ev-DeblurVSR