StreamSpeech，一個可以實現流媒體語音輸入的實時翻譯模型，用于離線和同步語音識別、語音翻譯和語音合成。它可以在實時通信中將語音即時翻譯成另一種語言，同時輸出對應的目標語音。

它不僅能將語音翻譯成另一種語言，還能將語音內容實時轉錄為文本。用戶可以同時獲得語音和文本兩種形式的翻譯結果，而且翻譯過程是同步進行的，無需等待整個語音輸入結束，從而實現低延遲的實時翻譯。

StreamSpeech還能在翻譯過程中展示實時的語音識別結果，幫助用戶即時了解翻譯進度。

StreamSpeech還可以無縫集成到各種應用和設備中，如翻譯耳機、會議系統、直播平臺等，為用戶提供便捷的翻譯服務。無論是在個人設備上使用，還是在大型會議系統中應用，Simul-S2ST都能提供穩定的性能。

StreamSpeech應用場景：

• 國際會議中，使用StreamSpeech進行同聲傳譯。

• 跨國公司使用StreamSpeech進行遠程會議，實現實時多語言溝通。

• 語言學習者使用StreamSpeech練習不同語言的聽力和口語。

StreamSpeech亮點：

• StreamSpeech 在離線和同步語音到語音翻譯方面均實現了 SOTA 性能。

• StreamSpeech 通過“一體化”無縫模型執行流式 ASR、同步語音到文本翻譯和同步語音到語音翻譯。

• StreamSpeech可以在同聲翻譯過程中呈現中間結果（即ASR或翻譯結果），提供更全面的低延遲通信體驗。

StreamSpeech非常適用于需要實時跨語言交流的專業人士。它通過減少翻譯延遲，使得不同語言背景的人們能夠無障礙地進行實時對話。"

官網：https://ictnlp.github.io/StreamSpeech-site/

Github：https://github.com/ictnlp/StreamSpeech

論文：https://arxiv.org/abs/2406.03049