TangoFlux是新加坡科技設計大學（SUTD）與NVIDIA合作研發的一款先進的文本到音頻（TTA）生成模型，該模型擁有約5.15億參數，能夠在單個A40 GPU上僅用3.7秒生成長達30秒的44.1kHz立體聲音頻。TangoFlux不僅可以生成音效如鳥叫、口哨、爆炸等聲音，還能生成音樂。

TangoFlux技術原理

• 變分自編碼器: 使用VAE將音頻波形編碼成潛在的表示，從潛在表示中重構原始音頻。

• 文本和時長嵌入: 基于文本編碼和時長編碼來控制生成音頻的內容和時長。

• FluxTransformer架構: 結合Diffusion Transformer (DiT) 和 Multimodal Diffusion Transformer (MMDiT)處理文本提示和生成音頻。

• 流匹配: 學習從簡單先驗分布到復雜目標分布的映射，生成樣本。

• CLAP-Ranked Preference Optimization: 基于迭代生成偏好數據對，優化音頻對齊。

TangoFlux主要功能

• 快速生成音頻：TangoFlux能夠在極短的時間內生成高質量的音頻內容，適用于需要快速響應的應用場景。

• 高音質輸出：生成的音頻質量高，能夠清晰再現各種聲音事件，適合用于音樂、音效等多種類型的音頻生成。

• 支持長音頻生成：該模型能夠處理長達30秒的音頻生成任務，適合制作較長的音頻內容。

• 多樣化音效生成：TangoFlux不僅可以生成音樂，還能生成各種音效，如鳥叫、口哨、爆炸聲等，適用于多種創意和娛樂項目。

TangoFlux應用場景

• 影視與游戲音頻制作：TangoFlux可依劇本或場景描述，快速生成逼真音效、配樂及配音，縮短制作周期、降成本，提升作品音頻質量，增強游戲互動性與沉浸感。

• 音樂創作靈感源：能按創作者設定，生成多樣音樂片段，助力突破創作瓶頸，推動音樂創新，帶來更多新穎作品。

• VR與AR體驗增強：依虛擬環境與用戶交互生成實時逼真音頻，提升VR游戲沉浸感，增強AR應用對虛實融合的感知。

• 廣告營銷音頻創新：依廣告創意與品牌形象生成獨特音頻，吸引消費者，喚起共鳴，提升品牌知名度與美譽度。

TangoFlux項目資源

• 項目官網: tangoflux.github.io

• arXiv技術論文: https://export.arxiv.org/pdf/2412.21037

TangoFlux還采用了CLAP-Ranked Preference Optimization (CRPO)框架，通過迭代生成和優化偏好數據來提升模型的音頻對齊能力。這種方法使得生成的音頻不僅在質量上有保障，還能更好地符合用戶的偏好和輸入文本的意圖。此外，TangoFlux的訓練基于非專有數據集，使得模型更加開放和可訪問，促進了進一步的研究和應用。

TangoFlux主要應用于多媒體內容創作，比如在電影、游戲、廣告和視頻制作中生成背景音樂、聲效和配音，從而提高制作效率和降低費用。它的技術原理包括變分自編碼器（VAE）、文本和時長嵌入、FluxTransformer架構等，這些技術共同支持了其高效的音頻生成能力。

相關資訊：

文本轉語音軟件