阿里云發布Qwen2開源模型
阿里云發布Qwen 2開源模型,性能超越目前所有開源模型和國內閉源模型。
Qwen 2 模型涵蓋多種尺寸,包括 0.5B、1.5B、7B、57B-A14B 和 72B 5 種大小版本,Qwen 2模型在同尺寸模型的測評中,都獲得了超越所有開源模型的成績。CompassArena 大模型競技場上體驗了下,確實是很強,應該是目前中文方面非常優秀的了。
Qwen 2功能特征:
5種尺寸的預訓練和指令調優模型,包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B;
除英語和中文外,還接受過 27 種語言的數據培訓;
在大量基準評估中表現最先進;
顯著提高編碼和數學表現;
Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 的擴展上下文長度支持高達 128K 令牌。
比較評估表明,相對于 Qwen1.5,大型模型(70B+ 參數)的性能得到了顯著增強。這里我們評測的重點是大尺寸型號Qwen2-72B。在基礎語言模型方面,Qwen2-72B和最先進的開放模型針對不同的能力進行了評估,包括自然語言理解、知識獲取、編碼能力、數學技能和多語言能力。受益于精心策劃的數據集和優化的訓練方法,Qwen2-72B 與 Llama-3-70B 等領先模型相比表現出卓越的性能。值得注意的是,盡管參數較少,但它的性能超越了其前身 Qwen1.5-110B。
經過廣泛的大規模預訓練,我們進行后訓練,以進一步增強 Qwen 的智能,使其更接近人類。這一過程進一步提高了模型在編碼、數學、推理、指令遵循、多語言理解等領域的能力。此外,它將模型的輸出與人類價值觀保持一致,確保它是有幫助的、誠實的和無害的。我們的訓練后階段的設計遵循可擴展訓練的原則,并且需要最少的人工注釋。具體來說,我們研究如何通過各種自動對齊策略來獲取高質量、可靠、多樣化和創造性的演示數據和偏好數據,例如數學的拒絕采樣、編碼和指令遵循的執行反饋、創意寫作的反向翻譯、對角色扮演等可擴展的監督。在培訓方面,我們采用了監督微調、獎勵模型培訓和在線DPO培訓相結合的方式。我們還采用了一種新穎的在線合并優化器來最大限度地減少對齊稅。這些集體努力顯著提高了我們模型的能力和智能,如下表所示。
Qwen2 的下一步是什么?
我們正在訓練更大的 Qwen2 模型,以進一步探索模型擴展以及我們最近的數據擴展。此外,我們將 Qwen2 語言模型擴展到多模態,能夠理解視覺和音頻信息。不久的將來,我們將繼續開源新模型,加速ai開源。敬請關注!
Github:https://github.com/QwenLM/Qwen2
下載地址:https://modelscope.cn/organization/qwen
體驗地址:https://modelscope.cn/studios/opencompass/CompassArena/summary
詳細介紹:https://qwenlm.github.io/blog/qwen2/
相關文章
- 用戶登錄