Boximator 是由字節(jié)跳動發(fā)布的一種視頻編輯工具，它能讓用戶通過簡單的操作控制生成視頻中主體的運動軌跡。物體將嚴(yán)格按照用戶繪制的位置和路徑進行運動。這個工具的創(chuàng)新之處在于其直觀的交互方式：你可以選擇需要運動的物體，然后繪制他結(jié)束的位置和運動路徑，他就會嚴(yán)格按照你繪制的位置和路徑運動。與Runway的運動筆刷相比，Boximator 可以更精確地控制物體的運動結(jié)束位置。

Boximator論文：https://arxiv.org/abs/2402.01566

Boximator演示：https://boximator.github.io/#Demo

Boximator項目：https://boximator.github.io/

Boximator核心功能：

• 軌跡控制：用戶可以通過圈選方式，簡單直觀地設(shè)定視頻中主體的運動軌跡。

• 多主體支持：Boximator 支持用戶同時圈選多個主體，并為每個主體設(shè)置不同的運動路徑。

• 路線定制：除了基本的點對點移動外，用戶還可以為視頻中的主體設(shè)置具體的移動路線。

• 插件兼容性：Boximator 與SD視頻模型兼容，可以作為插件使用，增強視頻編輯的靈活性和多樣性。

• 用戶友好：Boximator 的操作簡單直觀，無需復(fù)雜的視頻編輯知識，用戶即可控制視頻內(nèi)容。
  

• 高度兼容：與當(dāng)前流行的SD視頻模型兼容，可作為插件提供更廣泛的應(yīng)用可能。

• 創(chuàng)新交互：創(chuàng)新的圈選交互方式，使得視頻編輯更加直觀和便捷。

Boximator 應(yīng)用場景：

• 視頻內(nèi)容制作：對于視頻創(chuàng)作者，Boximator 提供了一種新的制作動態(tài)視頻的手段。

• 動畫創(chuàng)作：對動畫制作者來說，能夠簡化人物或物體運動軌跡的設(shè)計流程。

• 教育演示：在教育領(lǐng)域，教師可以使用該工具制作直觀的動態(tài)演示材料。

Boximator使用：

字節(jié)發(fā)布的方法，先圈出圖片中的主體，再圈出要移動到位置，即可生成主體從起點到終點移動的視頻，支持設(shè)置移動路線，支持圈選多個主體。與SD視頻模型兼容，可作為插件使用。

Boximator簡介：

我們提出了Boximator，這是一種用于精細(xì)運動控制的新方法。Boximator采用了兩種約束機制：硬性約束（hard box）和軟性約束（soft box）。

用戶可以利用硬性約束選取視頻中某一幀（稱為條件幀）的特定對象，然后通過這兩種約束方式來大致或嚴(yán)格地指定該對象在未來畫面中的位置、形狀或運動軌跡。Boximator可以作為現(xiàn)有視頻合成模型的一個附加組件。在訓(xùn)練過程中，為了保留原模型的知識，我們選擇凍結(jié)了原始權(quán)重，只對控制模塊進行訓(xùn)練。

為了解決訓(xùn)練過程中的挑戰(zhàn)，我們引入了一種創(chuàng)新的自我追蹤技術(shù)，這大大簡化了學(xué)習(xí)框選對象與其關(guān)聯(lián)的過程。

經(jīng)過實驗證明，Boximator在視頻質(zhì)量方面（即FVD，一種視頻質(zhì)量評價標(biāo)準(zhǔn)）達(dá)到了行業(yè)領(lǐng)先水平，相較于兩個基礎(chǔ)模型有所提升，并在引入框選約束后進一步增強了效果。其在運動控制上的強大能力，通過包圍盒對齊指標(biāo)的顯著提升得到了驗證。

評估也顯示，用戶更偏好Boximator生成的視頻效果，而不是基礎(chǔ)模型的輸出。