今天，我們宣布 2024 年發(fā)布第一個(gè)大型語言模型：Stable Code 3B。這個(gè)新的 LLM 是我們之前發(fā)布的 Stable Code Alpha 3B 的后續(xù)版本，也是第一個(gè)主要的 Stable Code 版本，提供了一個(gè)新的最先進(jìn)的模型，專為代碼完成而設(shè)計(jì)，具有多種附加功能。

Stable Code 3B模型性能和特點(diǎn)：

1、體積小效率高： 與 CodeLLaMA 7b 相比，Stable Code 3B 體積縮小了 60%，同時(shí)跨編程語言具有相似的高級(jí)性能。基于我們預(yù)先使用 4 萬億個(gè)自然語言數(shù)據(jù)進(jìn)行訓(xùn)練的 Stable LM 3B 基礎(chǔ)模型，Stable Code 進(jìn)一步接受了軟件工程特定數(shù)據(jù)（包括代碼）的訓(xùn)練。該模型的緊湊尺寸使其可以在現(xiàn)代筆記本電腦的邊緣實(shí)時(shí)私下運(yùn)行，即使是那些沒有專用 GPU 的筆記本電腦。

2、普通電腦即可運(yùn)行： 由于其緊湊的模型尺寸，Stable Code 3B可以在現(xiàn)代筆記本電腦上實(shí)時(shí)運(yùn)行，甚至包括那些沒有專用GPU的型號(hào)。

3、100k上下文大小： Stable Code 3B支持更大的上下文大小，能處理長達(dá)100,000個(gè)令牌的序列，從而提供更豐富、更精確的編碼補(bǔ)全。Stable Code 3B 跨多種語言提供更多功能和顯著更好的性能，并具有額外的優(yōu)勢(shì)，例如支持中間填充功能 (FIM) 和擴(kuò)展的上下文大小。 Stable Code 作為基礎(chǔ)，在最多 16,384 個(gè)標(biāo)記的序列上進(jìn)行訓(xùn)練，但遵循與 CodeLlama 類似的方法，實(shí)施旋轉(zhuǎn)嵌入，可選擇允許修改最多 1,000,000 個(gè)旋轉(zhuǎn)基礎(chǔ)，進(jìn)一步將模型的上下文長度擴(kuò)展至 100k 個(gè)標(biāo)記。

4、18種編程語言的訓(xùn)練： Stable Code 經(jīng)過 18 種編程語言（根據(jù) 2023 年 StackOverflow 開發(fā)者調(diào)查選擇）進(jìn)行訓(xùn)練，并在測(cè)試的多種編程語言的 MultiPL-E 指標(biāo)上展示了最先進(jìn)的性能（與類似大小的模型相比）。

Stable Code 3B模型包含在我們新的 Stability ai 會(huì)員資格中。請(qǐng)?jiān)L問我們的會(huì)員頁面，利用我們的商業(yè)核心模型產(chǎn)品，包括 SDXL Turbo 和穩(wěn)定視頻擴(kuò)散。