阿里云發(fā)布Qwen 2開(kāi)源模型，性能超越目前所有開(kāi)源模型和國(guó)內(nèi)閉源模型。

Qwen 2 模型涵蓋多種尺寸，包括 0.5B、1.5B、7B、57B-A14B 和 72B 5 種大小版本，Qwen 2模型在同尺寸模型的測(cè)評(píng)中，都獲得了超越所有開(kāi)源模型的成績(jī)。CompassArena 大模型競(jìng)技場(chǎng)上體驗(yàn)了下，確實(shí)是很強(qiáng)，應(yīng)該是目前中文方面非常優(yōu)秀的了。

Qwen 2功能特征：

• 5種尺寸的預(yù)訓(xùn)練和指令調(diào)優(yōu)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B；

• 除英語(yǔ)和中文外，還接受過(guò) 27 種語(yǔ)言的數(shù)據(jù)培訓(xùn)；

• 在大量基準(zhǔn)評(píng)估中表現(xiàn)最先進(jìn)；

• 顯著提高編碼和數(shù)學(xué)表現(xiàn)；

• Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 的擴(kuò)展上下文長(zhǎng)度支持高達(dá) 128K 令牌。

比較評(píng)估表明，相對(duì)于 Qwen1.5，大型模型（70B+ 參數(shù)）的性能得到了顯著增強(qiáng)。這里我們?cè)u(píng)測(cè)的重點(diǎn)是大尺寸型號(hào)Qwen2-72B。在基礎(chǔ)語(yǔ)言模型方面，Qwen2-72B和最先進(jìn)的開(kāi)放模型針對(duì)不同的能力進(jìn)行了評(píng)估，包括自然語(yǔ)言理解、知識(shí)獲取、編碼能力、數(shù)學(xué)技能和多語(yǔ)言能力。受益于精心策劃的數(shù)據(jù)集和優(yōu)化的訓(xùn)練方法，Qwen2-72B 與 Llama-3-70B 等領(lǐng)先模型相比表現(xiàn)出卓越的性能。值得注意的是，盡管參數(shù)較少，但它的性能超越了其前身 Qwen1.5-110B。

經(jīng)過(guò)廣泛的大規(guī)模預(yù)訓(xùn)練，我們進(jìn)行后訓(xùn)練，以進(jìn)一步增強(qiáng) Qwen 的智能，使其更接近人類(lèi)。這一過(guò)程進(jìn)一步提高了模型在編碼、數(shù)學(xué)、推理、指令遵循、多語(yǔ)言理解等領(lǐng)域的能力。此外，它將模型的輸出與人類(lèi)價(jià)值觀保持一致，確保它是有幫助的、誠(chéng)實(shí)的和無(wú)害的。我們的訓(xùn)練后階段的設(shè)計(jì)遵循可擴(kuò)展訓(xùn)練的原則，并且需要最少的人工注釋。具體來(lái)說(shuō)，我們研究如何通過(guò)各種自動(dòng)對(duì)齊策略來(lái)獲取高質(zhì)量、可靠、多樣化和創(chuàng)造性的演示數(shù)據(jù)和偏好數(shù)據(jù)，例如數(shù)學(xué)的拒絕采樣、編碼和指令遵循的執(zhí)行反饋、創(chuàng)意寫(xiě)作的反向翻譯、對(duì)角色扮演等可擴(kuò)展的監(jiān)督。在培訓(xùn)方面，我們采用了監(jiān)督微調(diào)、獎(jiǎng)勵(lì)模型培訓(xùn)和在線DPO培訓(xùn)相結(jié)合的方式。我們還采用了一種新穎的在線合并優(yōu)化器來(lái)最大限度地減少對(duì)齊稅。這些集體努力顯著提高了我們模型的能力和智能，如下表所示。

Qwen2 的下一步是什么？ 

我們正在訓(xùn)練更大的 Qwen2 模型，以進(jìn)一步探索模型擴(kuò)展以及我們最近的數(shù)據(jù)擴(kuò)展。此外，我們將 Qwen2 語(yǔ)言模型擴(kuò)展到多模態(tài)，能夠理解視覺(jué)和音頻信息。不久的將來(lái)，我們將繼續(xù)開(kāi)源新模型，加速ai開(kāi)源。敬請(qǐng)關(guān)注！

Github：https://github.com/QwenLM/Qwen2

下載地址：https://modelscope.cn/organization/qwen

體驗(yàn)地址：https://modelscope.cn/studios/opencompass/CompassArena/summary

詳細(xì)介紹：https://qwenlm.github.io/blog/qwen2/