阿里云發布Qwen 2開源模型，性能超越目前所有開源模型和國內閉源模型。

Qwen 2 模型涵蓋多種尺寸，包括 0.5B、1.5B、7B、57B-A14B 和 72B 5 種大小版本，Qwen 2模型在同尺寸模型的測評中，都獲得了超越所有開源模型的成績。CompassArena 大模型競技場上體驗了下，確實是很強，應該是目前中文方面非常優秀的了。

Qwen 2功能特征：

• 5種尺寸的預訓練和指令調優模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B；

• 除英語和中文外，還接受過 27 種語言的數據培訓；

• 在大量基準評估中表現最先進；

• 顯著提高編碼和數學表現；

• Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 的擴展上下文長度支持高達 128K 令牌。

比較評估表明，相對于 Qwen1.5，大型模型（70B+ 參數）的性能得到了顯著增強。這里我們評測的重點是大尺寸型號Qwen2-72B。在基礎語言模型方面，Qwen2-72B和最先進的開放模型針對不同的能力進行了評估，包括自然語言理解、知識獲取、編碼能力、數學技能和多語言能力。受益于精心策劃的數據集和優化的訓練方法，Qwen2-72B 與 Llama-3-70B 等領先模型相比表現出卓越的性能。值得注意的是，盡管參數較少，但它的性能超越了其前身 Qwen1.5-110B。

經過廣泛的大規模預訓練，我們進行后訓練，以進一步增強 Qwen 的智能，使其更接近人類。這一過程進一步提高了模型在編碼、數學、推理、指令遵循、多語言理解等領域的能力。此外，它將模型的輸出與人類價值觀保持一致，確保它是有幫助的、誠實的和無害的。我們的訓練后階段的設計遵循可擴展訓練的原則，并且需要最少的人工注釋。具體來說，我們研究如何通過各種自動對齊策略來獲取高質量、可靠、多樣化和創造性的演示數據和偏好數據，例如數學的拒絕采樣、編碼和指令遵循的執行反饋、創意寫作的反向翻譯、對角色扮演等可擴展的監督。在培訓方面，我們采用了監督微調、獎勵模型培訓和在線DPO培訓相結合的方式。我們還采用了一種新穎的在線合并優化器來最大限度地減少對齊稅。這些集體努力顯著提高了我們模型的能力和智能，如下表所示。

Qwen2 的下一步是什么？ 

我們正在訓練更大的 Qwen2 模型，以進一步探索模型擴展以及我們最近的數據擴展。此外，我們將 Qwen2 語言模型擴展到多模態，能夠理解視覺和音頻信息。不久的將來，我們將繼續開源新模型，加速ai開源。敬請關注！

Github：https://github.com/QwenLM/Qwen2

下載地址：https://modelscope.cn/organization/qwen

體驗地址：https://modelscope.cn/studios/opencompass/CompassArena/summary

詳細介紹：https://qwenlm.github.io/blog/qwen2/