Mistral ai于 2025 年 1 月 30 日發布了 Mistral Small 3，這是一個優化延遲的 24B 參數模型，旨在提供高效的性能。該模型在 Apache 2.0 許可下發布，允許用戶自由使用和修改。

Mistral Small 3主要特點：

• 高性能與規模：盡管只有 24B 參數，Mistral Small 3 的性能可以與更大規模的模型（如 Llama 3.3 的 70B 參數模型）相媲美。這使得它在相同硬件上能夠實現更快的推理速度。

• 延遲優化：Mistral Small 3 針對低延遲工作負載進行了優化，非常適合需要快速響應的應用場景。

• 領域專家微調：適用于法律、醫療、技術支持等領域的特定任務訓練，提高專有知識的準確性。

• 本地推理：支持在 RTX 4090 或 MacBook 32GB RAM 上本地運行，適合 處理敏感或專有數據的個人與企業。

Mistral Small 3 的設計特別關注于滿足大多數生成 AI 任務的需求，尤其是那些需要強大語言能力和指令跟隨性能的任務。該模型在 MMLU 基準測試中達到了超過 81% 的準確率，并且在相同硬件上以每秒 150 個標記的速度運行，顯示出其在效率方面的優勢。

此外，Mistral Small 3 還被設計為適合本地部署，特別是在處理敏感或專有信息的場景中。用戶可以在單個 RTX 4090 或 32GB RAM 的 Macbook 上運行該模型，進一步增強了其可用性和靈活性。

Mistral Small 3 還與多個平臺合作，包括 Hugging Face、Ollama 和 Kaggle，使得開發者能夠更方便地訪問和使用該模型。

Mistral Small 3應用

Mistral Small 3 適用于多種應用，包括自然語言處理、對話系統和其他需要高效推理的任務。其設計目標是為開發者提供一個靈活且強大的工具，以滿足現代 AI 應用的需求。

• 對話助手: 適用于需要快速、準確響應的虛擬助手。

• 函數調用: 能夠快速執行自動化或代理工作流中的函數。

• 領域專家: 可微調以在特定領域中創建高精度的專家模型。

• 本地推理: 適合處理敏感或專有信息的本地推理。

• 金融服務：用于欺詐檢測。

• 醫療行業：用于患者分診和客戶支持。

• 機器人/汽車/制造業：在設備端執行命令控制。

官方介紹：https://mistral.ai/news/mistral-small-3/