
Fish Speech
Fish Speech簡介
Fish Speech 是 Fish Audio 開發的文本轉語音 (TTS) 解決方案。它提供先進的 TTS 功能并支持多種語言,完美支持中英日語言的開源TTS模型,語音處理接近人類水平,模型使用約十五萬小時三語數據訓練,對中文支持非常的完美。
Fish Speech特點:
模型版本:當前穩定版本為 Fish Speech 1.1.2,正在更新至 1.2 版本 1。初始版本 Fish Speech V1 使用 15 萬小時的英語、中文和日語音頻數據進行訓練。
許可:代碼庫根據 BSD-3-Clause 許可證發布,而模型根據 CC-BY-NC-SA-4.0 許可證發布。
在線演示:用戶可以通過 Huggingface Spaces 和 Fish Audio 2 上提供的在線演示來嘗試 Fish Speech。
系統要求:對于推理,需要至少 4GB 內存的 GPU,而微調則需要 16GB 的 GPU 內存。該系統同時支持Linux和Windows。
Windows 設置:非專業 Windows 用戶可以通過提供的批處理腳本 ( install_env.bat ) 安裝環境。可以選擇使用鏡像站點下載依賴項并啟用模型編譯的編譯環境。
致謝:Fish Speech 的發展受到多個項目的影響,包括 VITS2、Bert-VITS2、GPT VITS、MQTTS、GPT Fast 和 GPT-SoVITS。
Fish Speech應用:
語音助手:Fish Speech 可以集成到語音助手平臺中,以多種語言提供聽起來自然的響應,可以增強用戶交互性和可訪問性。
有聲讀物旁白:高質量的語音合成使 Fish Speech 適合生成書面內容的有聲讀物版本。
語言學習:魚語音支持英語、中文和日語,可用于語言學習應用程序,通過生成目標語言的語音來幫助學生練習發音和聽力技能。
輔助工具:Fish Speech 可用于輔助工具中,通過將文本轉換為語音來幫助視障用戶。
客戶服務機器人:與客戶服務機器人集成可以通過自然的語音實現與客戶交互。
內容創作:可以使用 Fish Speech 為視頻、播客和其他多媒體內容生成畫外音。
Fish Speech由 fishaudio 開發,作為一個僅有億級參數的模型,Fish Speech 的設計非常的輕量而且高效。它可以在個人設備上輕松運行和微調,很方便成為您的私人語音助手。
github代碼:https://github.com/fishaudio/fish-speech
huggingface:https://huggingface.co/fishaudio/fish-speech-1.2
相關資訊: