KeySync 是什么？

KeySync是一款新推出的唇形同步工具，其核心優勢在于解決了表情泄漏和遮擋問題。它能夠確保唇部動作不受原始視頻中人物表情的影響，即使嘴部被遮擋，也不會影響同步效果。

KeySync能夠處理高分辨率視頻，并將生成的唇部動作準確地與新音頻對齊，有效避免音畫不同步的問題。其采用的兩階段框架設計，能夠保持良好的時間連貫性，使嘴型變化自然流暢。

此外，KeySync還支持通過調整參數來控制動畫的生成過程，例如可以指定遮擋物體的位置，從而實現更靈活的定制化效果。

KeySync 功能特征

• 高分辨率唇部同步：生成高質量、自然流暢的唇部動作，適配高分辨率視頻。

• 無泄漏處理：避免輸入視頻中的其他表情干擾唇部動作，確保動作僅與音頻匹配。

• 遮擋處理：通過掩碼策略，有效處理面部遮擋問題。

• 時間一致性：確保唇部動作在時間上連貫，避免不自然的過渡。

• 跨同步能力：支持不同視頻與音頻之間的唇部同步。

KeySync 技術原理

KeySync 采用兩階段框架來生成唇部同步視頻：

• 關鍵幀生成階段：從輸入視頻中選取關鍵幀，并通過擴散模型生成與輸入音頻相匹配的唇部動作。

• 插值階段：在關鍵幀之間進行插值，生成中間幀，以構建完整的唇部同步視頻。

此外，KeySync 設計了一種新穎的掩蔽策略，用于解決表情泄露和面部遮擋問題。該策略通過面部標志點檢測確定唇部區域，并擴展掩蔽區域以覆蓋下巴和部分臉頰，同時排除遮擋物的影響。

KeySync 應用場景

• 自動化配音：用于影視制作中的語言翻譯，自動生成匹配新配音的唇部動作。

• 虛擬現實（VR）和增強現實（AR）：生成虛擬角色或增強現實中的唇部動作，增強沉浸感。

• 視頻會議：改善網絡延遲下的唇部同步問題，提升遠程通信的自然感。

• 動畫制作：快速生成角色唇部動畫，提高制作效率。

• 多語言內容本地化：為不同語言的配音生成匹配的唇部動作，提升本地化效果。

KeySync 使用方法

1. 訪問演示頁面：打開鏈接 https://huggingface.co/spaces/toninio19/keysync-demo

2. 上傳文件：在頁面上找到上傳視頻和音頻文件的區域，分別上傳你的視頻（.mp4 格式）和音頻（.wav 格式）文件。

3. 創建同步視頻：上傳完成后，點擊相應的操作按鈕（具體按鈕可能根據頁面設計而定），系統會開始處理上傳的文件，并生成同步視頻。

4. 查看結果：處理完成后，你可以在頁面上查看生成的同步視頻。

項目鏈接

• 項目頁面：https://antonibigata.github.io/KeySync/

• 模型倉庫：https://huggingface.co/toninio19/keysync

• 在線演示：https://huggingface.co/spaces/toninio19/keysync-demo

• 論文鏈接：https://arxiv.org/abs/2505.00497