Boximator 是由字節跳動發布的一種視頻編輯工具，它能讓用戶通過簡單的操作控制生成視頻中主體的運動軌跡。物體將嚴格按照用戶繪制的位置和路徑進行運動。這個工具的創新之處在于其直觀的交互方式：你可以選擇需要運動的物體，然后繪制他結束的位置和運動路徑，他就會嚴格按照你繪制的位置和路徑運動。與Runway的運動筆刷相比，Boximator 可以更精確地控制物體的運動結束位置。

Boximator論文：https://arxiv.org/abs/2402.01566

Boximator演示：https://boximator.github.io/#Demo

Boximator項目：https://boximator.github.io/

Boximator核心功能：

• 軌跡控制：用戶可以通過圈選方式，簡單直觀地設定視頻中主體的運動軌跡。

• 多主體支持：Boximator 支持用戶同時圈選多個主體，并為每個主體設置不同的運動路徑。

• 路線定制：除了基本的點對點移動外，用戶還可以為視頻中的主體設置具體的移動路線。

• 插件兼容性：Boximator 與SD視頻模型兼容，可以作為插件使用，增強視頻編輯的靈活性和多樣性。

• 用戶友好：Boximator 的操作簡單直觀，無需復雜的視頻編輯知識，用戶即可控制視頻內容。
  

• 高度兼容：與當前流行的SD視頻模型兼容，可作為插件提供更廣泛的應用可能。

• 創新交互：創新的圈選交互方式，使得視頻編輯更加直觀和便捷。

Boximator 應用場景：

• 視頻內容制作：對于視頻創作者，Boximator 提供了一種新的制作動態視頻的手段。

• 動畫創作：對動畫制作者來說，能夠簡化人物或物體運動軌跡的設計流程。

• 教育演示：在教育領域，教師可以使用該工具制作直觀的動態演示材料。

Boximator使用：

字節發布的方法，先圈出圖片中的主體，再圈出要移動到位置，即可生成主體從起點到終點移動的視頻，支持設置移動路線，支持圈選多個主體。與SD視頻模型兼容，可作為插件使用。

Boximator簡介：

我們提出了Boximator，這是一種用于精細運動控制的新方法。Boximator采用了兩種約束機制：硬性約束（hard box）和軟性約束（soft box）。

用戶可以利用硬性約束選取視頻中某一幀（稱為條件幀）的特定對象，然后通過這兩種約束方式來大致或嚴格地指定該對象在未來畫面中的位置、形狀或運動軌跡。Boximator可以作為現有視頻合成模型的一個附加組件。在訓練過程中，為了保留原模型的知識，我們選擇凍結了原始權重，只對控制模塊進行訓練。

為了解決訓練過程中的挑戰，我們引入了一種創新的自我追蹤技術，這大大簡化了學習框選對象與其關聯的過程。

經過實驗證明，Boximator在視頻質量方面（即FVD，一種視頻質量評價標準）達到了行業領先水平，相較于兩個基礎模型有所提升，并在引入框選約束后進一步增強了效果。其在運動控制上的強大能力，通過包圍盒對齊指標的顯著提升得到了驗證。

評估也顯示，用戶更偏好Boximator生成的視頻效果，而不是基礎模型的輸出。