今天，我們宣布 2024 年發布第一個大型語言模型：Stable Code 3B。這個新的 LLM 是我們之前發布的 Stable Code Alpha 3B 的后續版本，也是第一個主要的 Stable Code 版本，提供了一個新的最先進的模型，專為代碼完成而設計，具有多種附加功能。

Stable Code 3B模型性能和特點：

1、體積小效率高： 與 CodeLLaMA 7b 相比，Stable Code 3B 體積縮小了 60%，同時跨編程語言具有相似的高級性能。基于我們預先使用 4 萬億個自然語言數據進行訓練的 Stable LM 3B 基礎模型，Stable Code 進一步接受了軟件工程特定數據（包括代碼）的訓練。該模型的緊湊尺寸使其可以在現代筆記本電腦的邊緣實時私下運行，即使是那些沒有專用 GPU 的筆記本電腦。

2、普通電腦即可運行： 由于其緊湊的模型尺寸，Stable Code 3B可以在現代筆記本電腦上實時運行，甚至包括那些沒有專用GPU的型號。

3、100k上下文大小： Stable Code 3B支持更大的上下文大小，能處理長達100,000個令牌的序列，從而提供更豐富、更精確的編碼補全。Stable Code 3B 跨多種語言提供更多功能和顯著更好的性能，并具有額外的優勢，例如支持中間填充功能 (FIM) 和擴展的上下文大小。 Stable Code 作為基礎，在最多 16,384 個標記的序列上進行訓練，但遵循與 CodeLlama 類似的方法，實施旋轉嵌入，可選擇允許修改最多 1,000,000 個旋轉基礎，進一步將模型的上下文長度擴展至 100k 個標記。

4、18種編程語言的訓練： Stable Code 經過 18 種編程語言（根據 2023 年 StackOverflow 開發者調查選擇）進行訓練，并在測試的多種編程語言的 MultiPL-E 指標上展示了最先進的性能（與類似大小的模型相比）。

Stable Code 3B模型包含在我們新的 Stability ai 會員資格中。請訪問我們的會員頁面，利用我們的商業核心模型產品，包括 SDXL Turbo 和穩定視頻擴散。