Hibiki是Kyutai Labs開發的支持法語和英語的高保真實時語音翻譯模型，可以保留原聲特點并進行實時翻譯，邊聽邊翻譯，像同聲傳譯一樣實時輸出，同時生成語音和文字翻譯。

Hibiki功能特征：

• 多流語言模型架構：Hibiki采用了類似于Moshi的多流架構，這使得它能夠同時處理源語言和目標語言的語音，實現語音到語音（S2ST）和語音到文本（S2TT）的無縫轉換。

• 保留聲音特征：Hibiki模型的一大亮點是生成的語音聽起來比較自然流暢，接近人類的正常說話方式。

• 自動調整語速：Hibiki智能地根據源語言的語義內容調整翻譯后的語音語速，確保翻譯的流暢性和準確性。

• 實時翻譯：可以在短時間內完成語音到語音或者語音到文字的翻譯轉換。比如在進行跨國旅行交流時，當一方說完一句話，幾乎能立刻得到翻譯后的結果并播放出來，是不是很方便。

• 設備端運行的小模型：Hibiki-M是Hibiki的輕量化版本，擁有17億參數，能夠在移動設備如iPhone上實時運行，無需依賴云端處理，這展示了模型優化和壓縮技術的先進性。

• 自適應翻譯：Hibiki能夠較為精準地識別不同口音的語音輸入。例如，無論是標準的英式英語、美式英語，還是帶有地方特色的印度英語等。

• 多語言支持：除了法語和英語，Hibiki的多流音頻-文本語言模型還可以擴展為其他語言的翻譯，增加其應用的靈活性和適應性。

Hibiki技術：

Hibiki是一種通過精確的同步算法，能迅速地將一種語言的語音翻譯成另一種語言的語音或文本的解碼模型。這一技術的核心在于它多流語言模型，能夠在語音識別和翻譯過程中，實時生成音頻和文本輸出。還有，Hibiki還支持聲音特征遷移，可以在翻譯過程中保留說話者的語調和情感，使翻譯的效果更自然和真實。

不過，由于需要進行語音數據的傳輸和云計算處理，它對網絡的要求較高。如果網絡信號不好，可能會出現識別錯誤或者翻譯延遲的現象。

Hibiki應用場景:

• 商務會議：對于跨國商務人士，在會議或者商務宴請等場合，Hibiki可以幫助與會者進行即時翻譯，消除語言障礙。

• 在線教育：在教育平臺中，Hibiki能夠提供實時語音翻譯，幫助不同語言背景的學生進行更好的學習和交流。

• 旅游翻譯：在國外旅游時，方便游客與當地人進行簡單的交流，如問路、點餐等。游客可以直接對著手機說出自己的需求，然后得到翻譯后的語音或文字回復。

• 醫患溝通：在醫院等場所，Hibiki可以輔助醫生與患者之間的溝通。

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

arXiv論文: https://arxiv.org/pdf/2502.03382