PosterCraft 是 2025 年 6 月由香港科技大學（廣州）、美團、廈門大學和新加坡國立大學研究團隊聯合提出的海報生成框架，PosterCraft通過文字精準渲染與美學風格優化，結合區域感知校準和強化學習技術，增強海報的藝術完整性與整體協調性。同時借助視覺 - 語言反饋機制，經多模態修正優化美學效果。

在數據集構建上，PosterCraft 開發了多個高質量數據集，滿足不同文本渲染和海報生成需求，為符合人類審美標準的海報創作奠定基礎。

其核心功能包括：

• 精確文字渲染：在高質量背景上準確呈現多樣化文字，確保文字與背景和諧統一，解決文本渲染保真度不足的問題。

• 美學風格優化：利用區域感知校準技術，強化海報藝術完整性，保持文字準確性，構建文字與背景的和諧視覺關系。

• 美學偏好優化：通過強化學習技術，依據整體美學標準優化輸出，減少字體渲染缺陷，使模型學習構圖平衡、色彩和諧等高階美學偏好。

• 視覺 - 語言反饋：借助聯合視覺 - 語言調節機制，結合視覺信息與針對性文字建議進行多模態修正，逐步優化海報美學內容與背景協調性。

PosterCraft 的工作流程分為四個階段：

• 文本渲染優化：在自建的 Text-Render-2M 數據集（包含 200 萬高質量文本渲染示例，支持多實例文本渲染及多樣化文本選擇）上大規模訓練，提升模型文本渲染保真度。

• 海報風格微調：使用 HQ-Poster-100K 數據集（10 萬張高質量海報集合，采用先進過濾技術、多模態評分系統等）和區域感知校準策略微調，使模型學習文本與背景的和諧共存。

• 美學文本強化學習：采用基于 best-of-n 的 DPO 策略，讓模型從多個版本海報的對比中學習構圖平衡、色彩和諧等高階美學偏好。

• 視覺 - 語言反饋：引入基于 VLM 的多模態反饋，在生成過程中對內容和風格進行迭代精煉與修正，生成后可根據設計建議調整優化。

該框架的技術優勢體現在：

• 統一框架設計：摒棄 “規劃 - 生成” 模塊化流程，實現文本輸入到海報輸出的端到端生成，保證視覺連貫性。

• 自動化數據集構建：為各優化階段設計專屬全自動數據集，解決數據稀缺問題。

• 級聯優化策略：

• 大規模文本渲染優化：利用高質量數據集專注文本渲染，保證背景渲染能力。

• 區域感知校準：微調時對文本和非文本區域賦予不同權重，保留文本清晰度并強化藝術風格。

• 基于偏好的強化學習：通過 “最優 / 最差” 樣本對學習，注入人類美學偏好。

• 多模態反饋循環：推理時引入多模態生成修正建議，融入條件輸入迭代優化結果。

測試表明，PosterCraft 在文本渲染準確性、美學質量和布局結構等方面持續超越現有先進方法，與商業系統相比也具競爭力。該模型能處理復雜提示并保持視覺一致性，無論長文本還是短提示都可生成高質量海報。其優勢在于從單一提示直接生成海報，無需額外模塊或人工調整，為電影海報、活動宣傳、產品推廣等場景提供快速高效的可擴展解決方案，且不降低美學質量。

相關資源鏈接：

GitHub：https://github.com/Ephemeral182/PosterCraft

項目官網：https://ephemeral182.github.io/PosterCraft/

Huggingface：https://huggingface.co/PosterCraft

Huggingface demo：https://huggingface.co/spaces/Ephemeral182/PosterCraft

YouTube：https://www.youtube.com/watch?v=92wMU4D7qx0