Step-Audio，作為業內首款產品級開源語音交互模型，具備根據場景需求生成多樣化語音表達的能力，涵蓋情緒、方言、語種、歌聲以及個性化風格，且交互自然流暢。在漢語水平考試六級評測中，Step-Audio表現卓越，被譽為最懂中文的開源模型。此ai模型由階躍星辰與吉利汽車集團聯合研發，并于2025年2月18日正式開源。

Step-Audio功能特征：

• 統一模型：基于130億參數的多模態模型，實現語音理解與生成的統一，可同時處理語音識別、語義理解、對話、語音克隆、音頻編輯與合成。

• 情感與風格多樣化：根據需求生成不同情緒（生氣/高興/悲傷）、方言（粵語/四川話等）、語種、歌聲（RAP/哼唱）及個性化風格的語音，精準調控情緒、方言、語種及歌聲。

• 高質量對話：提供自然、高質量對話體驗，交互自然流暢如真人交談。

• 智能交互：具備邏輯推理、創作、指令控制、語言、角色扮演及文字游戲等高級交互特性。

Step-Audio應用場景：

• 智能客服：提供個性化、情緒化服務，提升用戶體驗。

• 有聲閱讀：生成有情感朗讀，增強聽書沉浸感。

• 音視頻創作：自動生成視頻配音或動畫角色配音。

• 游戲NPC：為游戲角色提供自然流暢語音交互。

• 會議記錄：實時轉語音為文本，提供語音反饋。

• 教育輔助：個性化教學助手，調整教學風格語氣。

Step-Audio技術特征：

• 高壓縮比技術：采用Video-VAE等高效壓縮技術優化數據處理。

• 雙語處理能力：利用Hunyuan-CLIP和Step-LLM處理中英文提示。

• DIT架構與Video-DPO算法：優化復雜視頻音頻數據處理。

• 大規模數據集訓練：構建大數據集，確保模型泛化與細節表現。

Step-Audio使用方法：

• 獲取模型：訪問躍問APP或Hugging Face等平臺的Step-Audio開源版本。

• 技術報告：查閱arxiv.org或GitHub上的技術報告了解詳情。

• API接口：通過API調用實現語音交互，遵循MIT開源協議。

• 集成開發：按官方文檔或示例代碼集成到應用中。

• 定制化訓練：高級用戶可微調模型以適應特定場景或提升性能。

Step-Audio獲取方式

GitHub：https://github.com/stepfun-ai/Step-Audio

ModelScope：[點擊訪問]

技術報告：[點擊訪問]

支持PAI Model Gallery一鍵部署[點擊訪問]