AnchorCrafter是由中國(guó)科學(xué)院和騰訊聯(lián)手打造的一款ai虛擬主播帶貨神器，它利用先進(jìn)的AI技術(shù)，能夠生成自然流暢的帶貨視頻，極大地提升了電商視頻制作的質(zhì)量和效率。

AnchorCrafter是什么？

AnchorCrafter是一種基于擴(kuò)散的系統(tǒng)，通過(guò)將人類與物體的交互（Human-Object Interaction, HOI）融入到姿態(tài)引導(dǎo)的人類視頻生成中，自動(dòng)創(chuàng)建具有高保真度的錨式產(chǎn)品推廣視頻。

AnchorCrafter技術(shù)亮點(diǎn)：

• 人-物交互建模：AnchorCrafter不僅驅(qū)動(dòng)虛擬模特展示商品，還能精確捕捉和控制人與商品之間的交互細(xì)節(jié)，如手部與商品的接觸，從而生成更加自然和真實(shí)的視頻內(nèi)容。

• 高質(zhì)量視覺效果：系統(tǒng)通過(guò)HOI-appearance perception技術(shù)，融合多視角商品圖像特征，確保商品在視頻中的外觀細(xì)節(jié)得以精準(zhǔn)呈現(xiàn)，同時(shí)利用解耦網(wǎng)絡(luò)結(jié)構(gòu)來(lái)區(qū)分和優(yōu)化人與物的外觀，提升視覺保真度。

• 訓(xùn)練數(shù)據(jù)高效利用：盡管訓(xùn)練數(shù)據(jù)集相對(duì)較小（44個(gè)網(wǎng)絡(luò)視頻和307個(gè)自采視頻），AnchorCrafter通過(guò)高效的訓(xùn)練策略，能夠在有限的資源下（如4卡A100 GPU，4萬(wàn)個(gè)訓(xùn)練步，每幀6幀長(zhǎng)度）產(chǎn)出令人滿意的效果，體現(xiàn)了其算法的高效性和魯棒性。

• HOI-region重加權(quán)損失：為了強(qiáng)化模型對(duì)手-物交互的學(xué)習(xí)，系統(tǒng)采用了特定的損失函數(shù)，對(duì)手和物體區(qū)域的損失進(jìn)行權(quán)重增強(qiáng)，確保交互部分的準(zhǔn)確性和自然度。

AnchorCrafter的技術(shù)原理

• 視頻擴(kuò)散模型：使用擴(kuò)散Unet和變分自編碼器（VAE）來(lái)處理視頻幀，通過(guò)將視頻序列編碼為潛在空間來(lái)生成高質(zhì)量的輸出。

• HOI-外觀感知：通過(guò)提取人類和物體的外觀特征，并將其整合到主干網(wǎng)絡(luò)中來(lái)實(shí)現(xiàn)外觀控制，使用多視角物體參考圖像來(lái)增強(qiáng)物體外觀的識(shí)別能力。

• HOI-運(yùn)動(dòng)注入：通過(guò)注入人類運(yùn)動(dòng)序列來(lái)控制物體運(yùn)動(dòng)，并解決物體軌跡條件和遮擋管理的問(wèn)題，利用深度圖作為輸入，保持 運(yùn)動(dòng)的清晰性和一致性。

• HOI區(qū)域重加權(quán)損失：通過(guò)對(duì)交互區(qū)域施加更高的訓(xùn)練權(quán)重，增強(qiáng)模型對(duì)物體細(xì)節(jié)的學(xué)習(xí)，提高最終生成視頻的質(zhì)量和真實(shí)性。

AnchorCrafter的主要用途

• 電商視頻制作：AnchorCrafter能夠根據(jù)用戶提供的角色圖片和要推廣的產(chǎn)品，生成自然流暢的帶貨視頻，幫助電商企業(yè)輕松制作出高質(zhì)量的營(yíng)銷視頻。

• 產(chǎn)品推廣：通過(guò)將人物與產(chǎn)品融合，制作出具有吸引力的產(chǎn)品推廣視頻，提升產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)力。

AnchorCrafter的優(yōu)勢(shì)

• 畫面質(zhì)量和動(dòng)作自然度：AnchorCrafter生成的虛擬主播帶貨視頻在畫面質(zhì)量和動(dòng)作自然度上達(dá)到了業(yè)界領(lǐng)先水平，甚至可以與真人主播相媲美。

• 高效性：用戶只需提供簡(jiǎn)單的圖片和商品信息，即可快速生成高質(zhì)量的帶貨視頻，大大節(jié)省了時(shí)間和成本。

AnchorCrafter使用步驟：

• 準(zhǔn)備材料：提供主播的一張照片。提供想要展示的商品照片。

• 選擇主播：從眾多網(wǎng)絡(luò)主播中挑選一位你最中意的，用AI技術(shù)將其形象“復(fù)制”到虛擬世界中。

• 生成視頻：AnchorCrafter會(huì)自動(dòng)生成一段精彩的帶貨視頻，包括主播的動(dòng)作和表情與商品的互動(dòng)。

• 精確控制：根據(jù)自己的需求，設(shè)計(jì)各種各樣的互動(dòng)動(dòng)作，讓主播與商品完美融合。

• 導(dǎo)出視頻：生成完成后，導(dǎo)出高質(zhì)量的視頻，用于電商平臺(tái)的推廣。

AnchorCrafter特別適合電商平臺(tái)，能夠快速生成帶貨視頻，增強(qiáng)產(chǎn)品展示的吸引力，提高銷售潛力，同時(shí)減少對(duì)真人主播的依賴，降低制作成本。