Openai推出了新一代語音模型，為開發(fā)者提供更強大的語音交互能力，并支持語音智能體的開發(fā)。這些模型包括兩款語音轉(zhuǎn)文本模型（gpt-4o-transcribe和gpt-4o-mini-transcribe）以及一款文本轉(zhuǎn)語音模型（gpt-4o-mini-tts）。它們分別有什么特點呢？

1. GPT-4o-transcribe（語音轉(zhuǎn)文本模型）

特點：

• 高精度轉(zhuǎn)錄：經(jīng)過大量多樣化、高質(zhì)量音頻數(shù)據(jù)集的長時間訓(xùn)練，能夠更好地捕捉語音的細微差別，減少誤識別，大幅提升轉(zhuǎn)錄可靠性。

• 適應(yīng)復(fù)雜場景：對口音、語速、環(huán)境噪聲等具有很強的適應(yīng)性，即使在背景嘈雜、說話人口音較重或語速較快的情況下，也能準(zhǔn)確識別并轉(zhuǎn)錄語音內(nèi)容。

• 長語音處理能力：能夠處理較長的語音輸入，適合需要長時間連續(xù)語音轉(zhuǎn)錄的場景。

使用場景：

• 會議記錄：將會議中的語音內(nèi)容實時或事后轉(zhuǎn)錄為文本，方便會后整理和回顧，提高工作效率。

• 采訪記錄：在新聞采訪、人物訪談等場景中，快速準(zhǔn)確地將采訪者的語音內(nèi)容轉(zhuǎn)錄成文字，便于后續(xù)的編輯和發(fā)布。

• 語音筆記：將用戶的語音筆記轉(zhuǎn)錄為文本，方便用戶隨時查看和整理。

• 客戶呼叫中心：準(zhǔn)確識別客戶語音，將其轉(zhuǎn)錄為文本，便于客服人員快速理解客戶需求并進行相應(yīng)處理。

定價：

• 每100萬個音頻輸入tokens的價格為 $6.00，約合每分鐘 $0.006。

2. GPT-4o-mini-transcribe（語音轉(zhuǎn)文本模型的精簡版）

特點：

• 高效快速：模型體積更小，運算速度更快，能夠在短時間內(nèi)完成語音轉(zhuǎn)錄任務(wù)。

• 資源占用低：對硬件資源的要求相對較低，適合在資源有限的設(shè)備上運行。

• 性價比高：雖然單詞錯誤率（WER）稍高于完整版模型，但仍優(yōu)于原有的 Whisper 模型。

使用場景：

• 移動設(shè)備語音輸入：在智能手機、平板電腦等移動設(shè)備上，為用戶提供快速的語音輸入轉(zhuǎn)錄功能，例如語音輸入文字消息。

• 小型語音應(yīng)用：適用于一些對轉(zhuǎn)錄精度要求相對不高，但需要快速響應(yīng)的小型語音應(yīng)用，如語音指令識別、簡單的語音筆記等。

• 資源受限的環(huán)境：在計算資源有限的場景下，如一些小型企業(yè)或個人開發(fā)者的項目中，提供高效且成本較低的語音轉(zhuǎn)錄解決方案。

定價：

• 每100萬個音頻輸入tokens的價格為 $3.00，約合每分鐘 $0.003。

3. GPT-4o-mini-tts（文本轉(zhuǎn)語音模型）

特點：

• 可引導(dǎo)性：首次支持“可引導(dǎo)性”，開發(fā)者不僅可以指定模型“說什么”，還能控制“怎么說”。例如可以預(yù)設(shè)語音風(fēng)格為“平靜”“沖浪者”“專業(yè)的”“中世紀(jì)騎士”等，還能根據(jù)指令調(diào)整語音風(fēng)格，如“像富有同情心的客服 Agent 一樣說話”。

• 自然流暢的語音：生成的語音自然流暢，富有表現(xiàn)力，能夠根據(jù)文本內(nèi)容和預(yù)設(shè)的風(fēng)格進行相應(yīng)的語音表達。

• 多語言支持：支持多種語言的文本轉(zhuǎn)語音，滿足不同語言用戶的需求。

使用場景：

• 有聲讀物：將文字書籍、文章等轉(zhuǎn)換為有聲內(nèi)容，為用戶提供更加生動有趣的閱讀體驗。

• 智能客服：為智能客服系統(tǒng)提供語音合成功能，使客服機器人能夠以自然、富有表現(xiàn)力的聲音與用戶進行交流，提升用戶體驗。

• 語音播報：在新聞播報、天氣預(yù)報、交通廣播等場景中，將文本內(nèi)容轉(zhuǎn)換為語音進行播報。

• 創(chuàng)意內(nèi)容制作：在創(chuàng)意故事講述、廣告制作、視頻配音等領(lǐng)域，根據(jù)不同的創(chuàng)意需求生成具有特定風(fēng)格和情感的語音。

定價：

• 每100萬個文本輸入tokens的價格為 $0.60，每100萬個音頻輸出tokens的價格為 $12.00，約合每分鐘 $0.015。

GPT-4o-transcribe等模型已通過OpenAI的API接口向開發(fā)者開放，集成到應(yīng)用程序中非常便捷，僅需少量代碼。開發(fā)者可以根據(jù)功能和環(huán)境需要選擇適合自已的模型，也可以到官網(wǎng)體驗。

官網(wǎng)：http://open ai.fm/

博客：https://openai.com/index/introducing-our-next-generation-audio-models/