Openai 剛剛在太平洋時間 5 月 13 日星期一上午 10 點在發布了 GPT-4o，這是一種新的人工智能模式，集合了文本、圖片、視頻、語音的全能模型。 能實時響應用戶的需求，并通過語音來實時回答你，你可以隨時打斷它。 GPT-4o具有視覺能力，能識別物體并根據視覺做出快速的響應和回答，具有非常強的邏輯推理能力。 它還能夠從用戶的聲音中檢測他們的情緒。 它的速度比 GPT4-turbo 快 2 倍，價格便宜 50%！

GPT-4o是什么？

GPT-4o（“o”代表“omni”）是邁向更自然的人機交互的一步——它接受文本、音頻和圖像的任意組合作為輸入，并生成文本、音頻和圖像的任意組合輸出。它可以在短至 232 毫秒的時間內響應音頻輸入，平均為 320 毫秒，這與人類在對話中的響應時間相似。它在英語文本和代碼上的性能與 GPT-4 Turbo 的性能相匹配，在非英語文本上的性能顯著提高，同時 API 的速度也更快，成本降低了 50%。與現有模型相比，GPT-4o 在視覺和音頻理解方面尤其出色。

在 GPT-4o 之前，您可以使用語音模式與 ChatGPT 對話，平均延遲為 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。為了實現這一目標，語音模式是由三個獨立模型組成的管道：一個簡單模型將音頻轉錄為文本，GPT-3.5 或 GPT-4 接收文本并輸出文本，第三個簡單模型將該文本轉換回音頻。這個過程意味著主要智能來源GPT-4丟失了大量信息——它無法直接觀察音調、多個說話者或背景噪音，也無法輸出笑聲、歌唱或表達情感。

借助 GPT-4o，我們跨文本、視覺和音頻端到端地訓練了一個新模型，這意味著所有輸入和輸出都由同一神經網絡處理。由于 GPT-4o 是我們第一個結合所有這些模式的模型，因此我們仍然只是淺嘗輒止地探索該模型的功能及其局限性。

GPT-4o模型評估

根據傳統基準測試，GPT-4o 在文本、推理和編碼智能方面實現了 GPT-4 Turbo 級別的性能，同時在多語言、音頻和視覺功能上設置了新的高水位線。

GPT-4o語言標記化

有 20 種語言被選為新分詞器跨不同語系壓縮的代表。

模型安全性和局限性

GPT-4o 通過過濾訓練數據和通過訓練后細化模型行為等技術，在跨模式設計中內置了安全性。我們還創建了新的安全系統，為語音輸出提供防護。

我們根據我們的標準評估了 GPT-4oPreparedness Framework and in line with our voluntary commitments準備框架并符合我們的自愿承諾。我們對網絡安全、CBRN、說服力和模型自主性的評估表明，GPT-4o 在這些類別中的任何類別中的得分都不高于中等風險。該評估涉及在整個模型訓練過程中運行一套自動化和人工評估。我們使用自定義微調和提示測試了模型的安全緩解前和安全緩解后版本，以更好地激發模型功能。

GPT-4o 還與 70 多個外部紅隊進行了廣泛的合作external experts社會心理學、偏見和公平以及錯誤信息等領域的外部專家，以確定新增加的模式引入或放大的風險。我們利用這些經驗來制定安全干預措施，以提高與 GPT-4o 交互的安全性。我們將繼續降低發現的新風險。

我們認識到 GPT-4o 的音頻模式帶來了各種新的風險。今天，我們公開發布文本和圖像輸入以及文本輸出。在接下來的幾周和幾個月里，我們將致力于技術基礎設施、培訓后的可用性以及發布其他模式所需的安全性。例如，在發布時，音頻輸出將僅限于選擇預設的聲音，并將遵守我們現有的安全政策。我們將在即將發布的系統卡中分享有關 GPT-4o 全部模式的更多詳細信息。

我們希望得到反饋來幫助確定 GPT-4 Turbo 仍然優于 GPT-4o 的任務，以便我們可以繼續改進模型。

型號可用性

GPT-4o 是我們突破深度學習界限的最新舉措，這次是朝著實用性的方向發展。在過去的兩年里，我們花費了大量的精力來提高堆棧每一層的效率。作為這項研究的第一個成果，我們能夠更廣泛地提供 GPT-4 級別模型。 GPT-4o 的功能將迭代推出（從今天開始擴大紅隊訪問權限）。

GPT-4o 的文本和圖像功能今天開始在 ChatGPT 中推出。我們正在免費套餐中提供 GPT-4o，并向 Plus 用戶提供高達 5 倍的消息限制。我們將在未來幾周內在 ChatGPT Plus 中推出新版語音模式 GPT-4o 的 alpha 版。

開發人員現在還可以在 API 中訪問 GPT-4o 作為文本和視覺模型。與 GPT-4 Turbo 相比，GPT-4o 速度提高 2 倍，價格降低一半，速率限制提高 5 倍。我們計劃在未來幾周內在 API 中向一小群值得信賴的合作伙伴推出對 GPT-4o 新音頻和視頻功能的支持。

更多GPT-4o詳細內容：https://openai.com/index/hello-gpt-4o/