CosyVoice是一款基于語音量化編碼的語音生成大模型，一個可以深度融合文本理解和語音生成的一項新型語音合成技術，它對語音進行離散化編碼，并依托大模型技術，實現自然流暢的語音生成體驗。與傳統語音生成技術相比，CosyVoice能夠精準解析并詮釋各類文本內容，將其轉化為宛如真人般的自然語音。

你只需提供3~10s的原始音頻，CosyVoice即可生成模擬音色，甚至包括韻律、情感等細節，包括跨語種語音生成。

CosyVoice項目官網：https://www.modelscope.cn/studios/iic/CosyVoice-300M

CosyVoice源碼地址：https://github.com/FunAudioLLM/CosyVoice

CosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mh

CosyVoice功能特征：

• 高度擬人化：采用阿里通義語音實驗室自研的CosyVoice 生成式神經網絡語音大模型算法，使生成的語音在語調、韻律、情感表達等方面達到超擬人程度。

• 多語言：CosyVoice支持中英日粵韓5種語言的生成，專注自然語音生成，支持多語言、音色和情感控制，效果顯著優于傳統語音生成模型。

• 多樣化音色選擇：提供海量優質的音庫資源，包括不同性別、年齡、方言以及各種特色聲音，滿足用戶在不同場景下的個性化需求。無論是新聞播報的莊重嚴肅，還是故事講述的情感豐富，都能輕松駕馭。

• 實時高效合成：系統具有出色的響應速度和流式語音合成處理能力，無論是長篇文檔還是短句指令，都能實現快速、準確的實時語音合成。

• 情感和韻律控制：CosyVoice支持富語言聲音事件以及多情感的高擬人語音生成，例如笑聲、語氣詞等，以及不同情感表現的高擬人語音生成。

• 聲音克隆：只需提供3~10s的原始音頻，CosyVoice即可克隆生成模擬音色，甚至包括韻律、情感等細節，包括跨語種語音生成。

CosyVoice應用：

CosyVoice適用于多種應用場景，如智能客服、有聲讀物、車載導航、教育輔導等。

智能設備/機器人播報的語音內容，如智能客服機器人、智能音箱、數字人、語音助手等。

音視頻創作中需要將文字轉為語音播報的場景，如小說閱讀、新聞播報、影視解說、劇本配音等。

CosyVoice極大地拓寬了語音交互的可能性，提升用戶體驗的同時，也為企業智能化轉型提供了強大支持。

同最近大火的ChatTTS對比，可以發現CosyVoice的合成音頻在內容一致性上更高，CosyVoice對生成語音的情感、韻律進行細粒度的控制，生音頻在情感表現力上得到明顯提升，并且沒有很少存在幻覺額外多字的現象。CosyVoice很好地建模了合成文本中的語義信息，在內容一致性和說話人相似度上超越人類。