Ev-DeblurVSR:一個去除視頻模糊又能提升視頻分辨率的工具
Ev-DeblurVSR是什么?
Ev-DeblurVSR 是一個通過結合事件數據來增強模糊視頻的超分辨率重建效果的技術 ,來自中國科學技術大學、合肥綜合性國家科學中心人工智能研究院、新加坡國立大學等機構,它可以在去除視頻模糊的同時提升視頻分辨率。它在2025年的AAai會議上展示了相關成果。
Ev-DeblurVSR 的功能
- 視頻去模糊:能搞定視頻里的模糊問題,不管是運動模糊還是手抖造成的,都能讓視頻變得清晰。
- 視頻超分辨率:能把低分辨率的模糊視頻變成高分辨率的清晰視頻,最高支持4倍分辨率提升。
- 實時處理:可以實時處理圖像和視頻的去模糊,適合用在需要即時效果的場景。
Ev-DeblurVSR 的技術亮點
- 事件相機數據融合:它用上了事件相機的數據,這種相機能捕捉光線變化的瞬間,提供更精確的時間信息。
- 雙向特征去模糊模塊(RFD):利用幀內事件的運動信息來去除模糊,同時結合全局場景上下文增強效果。
- 混合可變形對齊模塊(HDA):結合幀間事件信息和光流,提升運動估計的精度。
- 性能優化:在真實數據測試中,Ev-DeblurVSR 比之前的最佳方法 FMA-Net 更準確(+2.59dB),速度還快了7.28倍。
Ev-DeblurVSR 的應用場景
- 視頻監控:能清理因攝像頭抖動或其他因素導致的模糊視頻,讓監控畫面更清晰。
- 運動捕捉:在體育分析、虛擬現實等領域,為高分辨率視頻需求提供支持。
- 電影后期制作:可以修復或增強老視頻片段。
常見問題
問:Ev-DeblurVSR 網絡與其他基于事件的 BVSR 方法相比,優勢主要體現在哪些方面?
答:Ev-DeblurVSR 通過互易特征去模糊模塊和混合可變形對齊模塊,更有效地融合幀與事件信息、增強時間一致性。在 GoPro 數據集上,它的PSNR 值達 32.51,高于其他基于事件的方法,如 EFNet + EGVSR 的 23.53 等;在真實數據上,相比 FMA-Net,精度提升 2.59dB 且速度快 7.28 倍。
問:互易特征去模糊模塊是如何具體實現幀特征去模糊和事件特征增強的?
答:互易特征去模糊模塊利用幀內事件運動信息對幀特征進行去模糊處理,同時借助幀的全局場景上下文來增強事件特征,實現兩者信息的有效融合與相互提升,具體實現涉及對幀和事件的特征提取、交互處理等操作。
問:混合可變形對齊模塊中,幀間事件和光流的互補運動信息是怎樣協同工作來改進運動估計的?
答:混合可變形對齊模塊充分利用幀間事件和光流的互補運動信息,通過將兩者的運動信息進行融合、互補計算,在可變形對齊過程中更準確地估計物體運動,從而增強時間一致性。
項目主頁:https://dachunkai.github.io/ev-deblurvsr.github.io/
論文:https://arxiv.org/pdf/2504.13042
Github:https://github.com/DachunKai/Ev-DeblurVSR