AnchorCrafter是由中國科學(xué)院和騰訊聯(lián)手打造的一款ai虛擬主播帶貨神器，它利用先進(jìn)的AI技術(shù)，能夠生成自然流暢的帶貨視頻，極大地提升了電商視頻制作的質(zhì)量和效率。

AnchorCrafter是什么？

AnchorCrafter是一種基于擴(kuò)散的系統(tǒng)，通過將人類與物體的交互（Human-Object Interaction, HOI）融入到姿態(tài)引導(dǎo)的人類視頻生成中，自動創(chuàng)建具有高保真度的錨式產(chǎn)品推廣視頻。

AnchorCrafter技術(shù)亮點(diǎn)：

• 人-物交互建模：AnchorCrafter不僅驅(qū)動虛擬模特展示商品，還能精確捕捉和控制人與商品之間的交互細(xì)節(jié)，如手部與商品的接觸，從而生成更加自然和真實的視頻內(nèi)容。

• 高質(zhì)量視覺效果：系統(tǒng)通過HOI-appearance perception技術(shù)，融合多視角商品圖像特征，確保商品在視頻中的外觀細(xì)節(jié)得以精準(zhǔn)呈現(xiàn)，同時利用解耦網(wǎng)絡(luò)結(jié)構(gòu)來區(qū)分和優(yōu)化人與物的外觀，提升視覺保真度。

• 訓(xùn)練數(shù)據(jù)高效利用：盡管訓(xùn)練數(shù)據(jù)集相對較小（44個網(wǎng)絡(luò)視頻和307個自采視頻），AnchorCrafter通過高效的訓(xùn)練策略，能夠在有限的資源下（如4卡A100 GPU，4萬個訓(xùn)練步，每幀6幀長度）產(chǎn)出令人滿意的效果，體現(xiàn)了其算法的高效性和魯棒性。

• HOI-region重加權(quán)損失：為了強(qiáng)化模型對手-物交互的學(xué)習(xí)，系統(tǒng)采用了特定的損失函數(shù)，對手和物體區(qū)域的損失進(jìn)行權(quán)重增強(qiáng)，確保交互部分的準(zhǔn)確性和自然度。

AnchorCrafter的技術(shù)原理

• 視頻擴(kuò)散模型：使用擴(kuò)散Unet和變分自編碼器（VAE）來處理視頻幀，通過將視頻序列編碼為潛在空間來生成高質(zhì)量的輸出。

• HOI-外觀感知：通過提取人類和物體的外觀特征，并將其整合到主干網(wǎng)絡(luò)中來實現(xiàn)外觀控制，使用多視角物體參考圖像來增強(qiáng)物體外觀的識別能力。

• HOI-運(yùn)動注入：通過注入人類運(yùn)動序列來控制物體運(yùn)動，并解決物體軌跡條件和遮擋管理的問題，利用深度圖作為輸入，保持 運(yùn)動的清晰性和一致性。

• HOI區(qū)域重加權(quán)損失：通過對交互區(qū)域施加更高的訓(xùn)練權(quán)重，增強(qiáng)模型對物體細(xì)節(jié)的學(xué)習(xí)，提高最終生成視頻的質(zhì)量和真實性。

AnchorCrafter的主要用途

• 電商視頻制作：AnchorCrafter能夠根據(jù)用戶提供的角色圖片和要推廣的產(chǎn)品，生成自然流暢的帶貨視頻，幫助電商企業(yè)輕松制作出高質(zhì)量的營銷視頻。

• 產(chǎn)品推廣：通過將人物與產(chǎn)品融合，制作出具有吸引力的產(chǎn)品推廣視頻，提升產(chǎn)品的市場競爭力。

AnchorCrafter的優(yōu)勢

• 畫面質(zhì)量和動作自然度：AnchorCrafter生成的虛擬主播帶貨視頻在畫面質(zhì)量和動作自然度上達(dá)到了業(yè)界領(lǐng)先水平，甚至可以與真人主播相媲美。

• 高效性：用戶只需提供簡單的圖片和商品信息，即可快速生成高質(zhì)量的帶貨視頻，大大節(jié)省了時間和成本。

AnchorCrafter使用步驟：

• 準(zhǔn)備材料：提供主播的一張照片。提供想要展示的商品照片。

• 選擇主播：從眾多網(wǎng)絡(luò)主播中挑選一位你最中意的，用AI技術(shù)將其形象“復(fù)制”到虛擬世界中。

• 生成視頻：AnchorCrafter會自動生成一段精彩的帶貨視頻，包括主播的動作和表情與商品的互動。

• 精確控制：根據(jù)自己的需求，設(shè)計各種各樣的互動動作，讓主播與商品完美融合。

• 導(dǎo)出視頻：生成完成后，導(dǎo)出高質(zhì)量的視頻，用于電商平臺的推廣。

AnchorCrafter特別適合電商平臺，能夠快速生成帶貨視頻，增強(qiáng)產(chǎn)品展示的吸引力，提高銷售潛力，同時減少對真人主播的依賴，降低制作成本。