PortraitGen是由中國科學(xué)技術(shù)大學(xué)推出的一款創(chuàng)新AI人像視頻編輯工具。能夠?qū)?D人像視頻提升到4D效果。它支持多模態(tài)編輯，能夠在短短30分鐘內(nèi)實(shí)現(xiàn)視頻中人物的服裝、表情和光線環(huán)境的改變。PortraitGen還具備面部意識編輯模塊，提升了表情編輯的流暢性。用戶可以通過輸入視頻和參考圖片，輕松實(shí)現(xiàn)文字修改人物效果。

PortraitGen主要特點(diǎn)：

• 快速編輯：PortraitGen可以在短短30分鐘內(nèi)完成視頻編輯，編輯后的3D肖像支持每秒100幀的流暢播放。

• 多模態(tài)輸入：用戶可以通過文本、圖像或3D模型輸入進(jìn)行編輯，支持多種編輯方式，包括文本驅(qū)動和圖像驅(qū)動的風(fēng)格化編輯。

• 面部意識編輯模塊：該模塊旨在提高表情質(zhì)量，并保留個性化的面部特征，使得編輯效果更加自然和細(xì)膩。

• 光照調(diào)整：用戶可以根據(jù)提供的光照描述來調(diào)節(jié)視頻幀的光照，使得整個視頻更加和諧美觀。

• 技術(shù)優(yōu)勢：PortraitGen采用了神經(jīng)高斯紋理技術(shù)，與傳統(tǒng)的球諧系數(shù)方法不同，能夠?yàn)槊總€高斯點(diǎn)存儲可學(xué)習(xí)的特征，從而實(shí)現(xiàn)更豐富的編輯效果。

• 高幀率：編輯后的視頻支持每秒100幀的流暢播放。
  

• 換衣效果：通過風(fēng)格遷移和虛擬試穿實(shí)現(xiàn)。
  

PortraitGen技術(shù)細(xì)節(jié)：

• SMPL-X系數(shù)：用于單目視頻的追蹤。

• 神經(jīng)高斯紋理：構(gòu)建3D高斯特征場。

• 面部意識編輯：提高表情質(zhì)量，保留個性化面部結(jié)構(gòu)。

• 風(fēng)格遷移：用于圖像驅(qū)動編輯。

• InstructPix2Pix：用于文本驅(qū)動編輯。

PortraitGen使用場景：

• 影視制作：快速生成高質(zhì)量人像視頻。

• 廣告行業(yè)：靈活變換視頻風(fēng)格。

• 社交媒體：個性化視頻內(nèi)容創(chuàng)作。

• 教育培訓(xùn)：制作教學(xué)視頻。

• 虛擬試穿：時尚行業(yè)應(yīng)用。

PortraitGen是一款由中國科學(xué)技術(shù)大學(xué)研究團(tuán)隊(duì)開發(fā)的先進(jìn)AI人像視頻編輯工具，它在2024年9月23日通過Arxiv發(fā)布。PortraitGen通過文字指令或參考圖片來修改視頻中人物的外觀，實(shí)現(xiàn)包括但不限于換衣、調(diào)整光照效果、改變?nèi)宋锾卣鞯榷嗄B(tài)編輯功能。

PortraitGen獲取方式：

項(xiàng)目地址：https://ustc3dv.github.io/PortraitGen

Github地址：https://github.com/USTC3DV/PortraitGen-code

論文地址：https://arxiv.org/abs/2409.13591