OSUM（Open Speech Understanding Model）是是由西北工業大學計算機科學與技術學院音頻、語音與語言處理組（ASLP@NPU）提出并開源的一個語音模型，用于支持多種語音處理任務。

OSUM功能特征：

多任務支持：

• 語音識別（ASR）：將語音轉換為文本。

• 帶時間戳的語音識別（SRWT）：識別語音內容并標注時間信息。

• 語音事件檢測（VED）：識別語音中的特定事件或動作。

• 語音情感識別（SER）：分析語音中的情感狀態。

• 說話風格識別（SSR）：識別說話人的說話方式或語氣。

• 說話者性別分類（SGC）：根據語音判斷說話者的性別。

• 說話者年齡預測（SAP）：估計說話者的年齡。

• 語音轉文本聊天（STTC）：將語音對話轉換為可讀文本。

模型架構：OSUM結合了Whisper編碼器和Qwen2大語言模型（LLM），使用LORA技術對LLM進行微調，以實現高效的多任務訓練。

訓練策略：采用ASR+X訓練策略，通過同時優化自動語音識別（ASR）和次要任務（X），實現了高效穩定的多任務訓練，減少了資源消耗。

深度理解功能：OSUM模型具備將語音信息轉化為文本的能力，同時支持語音中的情感識別，能夠為用戶提供更加智能化的交互體驗。

時間戳支持：在語音識別中，OSUM提供帶時間戳的輸出，便于后續的處理和分析。

多平臺兼容：支持在不同的計算平臺上運行，包括華為昇騰910B和英偉達平臺，這增加了其應用的靈活性。

OSUM應用：

• 智能助手：在智能家居、虛擬助理中，用于理解和響應用戶的語音命令。

• 多語言服務：如YouTube Dubbing插件一樣，可以用于實時翻譯和配音，打破語言障礙。

• 情感分析：在客戶服務、心理健康應用中分析用戶情緒，提供個性化服務。

• 教育領域：自動評估學生的口語作業，提供反饋。

• 無障礙技術：幫助聽力障礙者理解語音信息。

• 市場研究：分析消費者反饋中的情感和意見。

• 語音轉錄：在會議記錄、口述文字轉換等場合，利用OSUM進行高效的語音轉錄。
  

OSUM使用方法：

安裝與導入：用戶可以通過Hugging Face頁面或GitHub項目頁面下載OSUM的代碼和模型權重，并按照提供的安裝指南進行安裝。導入OSUM模型到Python環境的示例代碼如下：

from osum import OSUM
model = OSUM.from_pretrained("ASLP-lab/OSUM")

執行任務：用戶可以使用OSUM模型執行各種語音任務，例如語音識別。以下是一個語音識別任務的示例代碼：

result = model.transcribe("audio.wav")
print(f"識別結果：{result}")

在使用方法方面，用戶還可以利用預訓練的模型檢查點進行微調，進一步提升模型在特定任務上的性能。

GitHub：https://github.com/ASLP-lab/OSUM

項止：https://aslp-lab.github.io/OSUM.github.io/