ToucanTTS，一套用于最先進語音合成的工具包，由斯圖加特大學自然語言處理研究所（IMS）開發的超全文本轉語音（Text-to-Speech, TTS）模型。ToucanTTS覆蓋超過7,000種語言的大型多語言模型。

ToucanTTS不僅支持多語言，還具備多說話人語音合成功能，可以模擬不同說話人的節奏、重音和語調。

它還提供了多種應用的交互演示，包括語音設計、風格克隆、多語言語音合成和人工編輯詩歌朗讀，展示了其多功能性和強大性能。

ToucanTTS功能：

多語言支持：ToucanTTS 能夠合成 7,000 多種語言的語音，使其成為可用的最多語言的 TTS 模型。這種廣泛的語言支持迎合了廣泛的國際受眾。

多說話人語音合成：ToucanTTS可能多人語音合成，用戶能夠模仿不同說話人的節奏、重音和語調。對于需要風格多樣性和語音定制的應用程序來說，特別的有用呢。

人機交互編輯：ToucanTTS可以讓用戶自定義合成語音來滿足特定要求，對于文學研究和詩歌閱讀作業特別有用的吶。

架構：ToucanTTS 基于 FastSpeech 2 架構構建，并受到 PortaSpeech 的啟發進行了改進。它包括一個基于歸一化流的 PostNet 和一個經過連接主義時間分類 (CTC) 和頻譜圖重建訓練的獨立對齊器，可以實現高質量、聽起來自然的語音合成 。

發音表示：ToucanTTS 的一項獨特功能是使用音素的發音表示作為輸入。可以通過利用多語言數據提高了低資源語言語音合成的質量和可用性。

交互式演示：ToucanTTS 為各種應用提供交互式演示，例如語音設計、風格克隆、多語言語音合成和人工編輯的詩歌朗讀。這些演示展示了該工具包的多功能性和穩健性。

訓練和推理：該工具包提供了有關安裝依賴項、配置存儲、下載預訓練模型和運行訓練管道的全面說明。它支持從預訓練模型進行微調和從頭開始訓練 。

ToucanTTS特點：

多語言和多說話者支持：通過大規模的多語言預訓練模型，支持涵蓋超過7,000種語言的多語言語音合成。實現多說話者語音合成，并克隆節奏、重音和語調等韻律跨說話者。

人機協同編輯：允許對合成語音進行人機協同編輯，例如用于詩歌朗誦和文學研究。

交互式演示：提供大規模多語言語音合成、跨說話者風格克隆、語音設計和人工編輯的詩歌朗誦的交互式演示

架構和組件：主要基于FastSpeech 2架構，具有一些修改，例如受PortaSpeech啟發的基于正規化流的PostNet。包括經CTC訓練的自包含對齊器和各種應用的譜圖重建。提供多語言模型、對齊器、嵌入函數、聲碼器和嵌入GAN的預訓練模型。

易用性：完全采用Python和PyTorch構建，旨在簡單且適合初學者，同時功能強大。

口腔表征：IMS Toucan系統將音素的口腔表征作為輸入，使多語言數據可以惠及低資源語言。

ToucanTTS應用：

多語言應用程序的語音合成：ToucanTTS 支持 7,000 多種語言，非常有利于創建多語言應用程序，比如全球客戶服務平臺、教育工具和非母語人士的輔助功能 。

語音設計和定制：多揚聲器語音合成功能允許創建可用于各種應用的定制語音，例如虛擬助理、有聲讀物和個性化營銷信息。

人機交互編輯：此功能在文學研究和詩歌閱讀作業中特別有用，因為在這些作業中需要精確控制語音輸出以滿足特定的文體要求。

如何使用ToucanTTS？

只需簡單幾步，即可開始使用ToucanTTS。

1、從GitHub下載

從GitHub下載代碼。git clone https://github.com/2noise/ToucanTTS下載ToucanTTS

2、安裝依賴項

在開始之前，請確保已安裝所需的軟件包。您將需要torch和ToucanTTS。如果尚未安裝，可以使用pip安裝：

3、導入所需庫

為您的腳本導入必要的庫。您將需要torch、ToucanTTS和IPython.display中的Audio。

4、初始化ToucanTTS，創建ToucanTTS類的實例并加載預訓練模型。

5、準備文本，定義要轉換為語音的文本。將<YOUR TEXT HERE>替換為您想要的文本。

6、生成語音，使用infer方法從文本生成語音。設置use_decoder=True以啟用解碼器。

7、播放音頻

使用IPython.display中的Audio類播放生成的音頻。將采樣率設置為24,000 Hz并啟用自動播放。

8、完成腳本

ToucanTTS的GitHub鏈接：https://github.com/DigitalPhonetics/IMS-Toucan

在線演示鏈接：https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS

數據集鏈接：https://huggingface.co/datasets/Flux9665/BibleMMS