Light-A-Video是一個應用于逐幀圖像重光照模型的簡單應用，主要解決光源一致性以及重光照外觀的問題。該項目的目標是提升視頻中光照效果的自然性，使得生成的視頻幀在光源和外觀上更加一致，解決了傳統視頻重光照方法面臨的高訓練成本、數據稀缺性、時間一致性差以及應用領域限制等問題。

Light-A-Video功能特征：

無需訓練：Light-A-Video采用無監督學習的方式，不需要大規模的數據集或復雜的訓練過程。

CLA模塊：通過雙流注意力機制，結合原始幀的高頻細節和跨幀平均后的穩定背景光照，確保光照源的穩定性，減少閃爍。

PLF策略：該策略逐步融合重光照效果，確保在視頻去噪過程中保持光照的一致性和平滑過渡，從而避免了逐幀處理導致的不自然效果。

廣泛兼容性：該方法與多種視頻生成模型兼容，如UNet和DiT，顯示了其在不同應用場景中的通用性。

光照一致性：通過引入兩個核心模塊來增強視頻中的光照一致性：

• Consistent Light Attention (CLA)：通過增強自注意力機制中的跨幀交互，確保背景光源的一致性。

• Progressive Light Fusion (PLF)：利用光傳輸的獨立性原理，通過線性混合來平滑光照過渡，確保視頻幀間的光照一致性。

技術流程：

• 視頻編碼與加噪：輸入視頻被編碼到潛在空間，并添加噪聲以準備后續處理。

• 逐幀重光照：利用預訓練的圖像重光照模型對每一幀進行處理。

• CLA模塊應用：通過增強跨幀交互，穩定光照效果，保持視頻幀間的一致性。

• PLF策略實施：逐步將重光照效果融入視頻的去噪過程，確保時間上的平滑過渡。

• 視頻解碼：最終生成重光照后的視頻，保持高質量和時間連貫性。

Light-A-Video應用場景：

Light-A-Video只要為視頻編輯、電影特效制作、虛擬現實、廣告和游戲開發等領域提供更高效、更靈活的視頻光照調整工具：

• 全視頻重光照：適用于整個視頻的重光照。

• 視頻前景重光照：結合背景生成進行視頻前景的重光照。

Light-A-Video 由來自上海交通大學、中國科學技術大學、香港中文大學、香港科技大學、斯坦福大學等機構的研究人員共同開發，是首個無需預先訓練就能夠實現高質量、時間連貫的視頻重光照模型。