PortraitGen是由中國科學技術大學推出的一款創新AI人像視頻編輯工具。能夠將2D人像視頻提升到4D效果。它支持多模態編輯，能夠在短短30分鐘內實現視頻中人物的服裝、表情和光線環境的改變。PortraitGen還具備面部意識編輯模塊，提升了表情編輯的流暢性。用戶可以通過輸入視頻和參考圖片，輕松實現文字修改人物效果。

PortraitGen主要特點：

• 快速編輯：PortraitGen可以在短短30分鐘內完成視頻編輯，編輯后的3D肖像支持每秒100幀的流暢播放。

• 多模態輸入：用戶可以通過文本、圖像或3D模型輸入進行編輯，支持多種編輯方式，包括文本驅動和圖像驅動的風格化編輯。

• 面部意識編輯模塊：該模塊旨在提高表情質量，并保留個性化的面部特征，使得編輯效果更加自然和細膩。

• 光照調整：用戶可以根據提供的光照描述來調節視頻幀的光照，使得整個視頻更加和諧美觀。

• 技術優勢：PortraitGen采用了神經高斯紋理技術，與傳統的球諧系數方法不同，能夠為每個高斯點存儲可學習的特征，從而實現更豐富的編輯效果。

• 高幀率：編輯后的視頻支持每秒100幀的流暢播放。
  

• 換衣效果：通過風格遷移和虛擬試穿實現。
  

PortraitGen技術細節：

• SMPL-X系數：用于單目視頻的追蹤。

• 神經高斯紋理：構建3D高斯特征場。

• 面部意識編輯：提高表情質量，保留個性化面部結構。

• 風格遷移：用于圖像驅動編輯。

• InstructPix2Pix：用于文本驅動編輯。

PortraitGen使用場景：

• 影視制作：快速生成高質量人像視頻。

• 廣告行業：靈活變換視頻風格。

• 社交媒體：個性化視頻內容創作。

• 教育培訓：制作教學視頻。

• 虛擬試穿：時尚行業應用。

PortraitGen是一款由中國科學技術大學研究團隊開發的先進AI人像視頻編輯工具，它在2024年9月23日通過Arxiv發布。PortraitGen通過文字指令或參考圖片來修改視頻中人物的外觀，實現包括但不限于換衣、調整光照效果、改變人物特征等多模態編輯功能。

PortraitGen獲取方式：

項目地址：https://ustc3dv.github.io/PortraitGen

Github地址：https://github.com/USTC3DV/PortraitGen-code

論文地址：https://arxiv.org/abs/2409.13591