YAYI2，中科聞歌研發(fā)的一款新一代開源大語言模型，其中文名為“雅意”。該模型包含 Base 和 Chat 版本，參數(shù)規(guī)模達(dá)到 30B，基于 Transformer 架構(gòu)構(gòu)建。

YAYI2采用了超過 2 萬億 Tokens 的高質(zhì)量、多語言語料進行預(yù)訓(xùn)練。針對通用和特定領(lǐng)域的應(yīng)用場景，我們采用了百萬級指令進行微調(diào)，同時借助人類反饋強化學(xué)習(xí)方法，以更好地使模型與人類價值觀對齊。

YAYI2雅意核心能力

• 中文知識問答：AGIEval、CMMLU評測第一，MMLU第二

• 信息抽取：零樣本中文實體抽取達(dá)SOTA，英文對標(biāo)ChatGPT

• 多模態(tài)交互：圖文互生成、PDF解析、網(wǎng)頁實時理解

• 角色扮演：支持上萬種自定義角色，超長輪對話關(guān)聯(lián)

YAYI2雅意技術(shù)架構(gòu)

• 300億參數(shù)規(guī)模，支持128k超長上下文（約20萬字文本處理）

• 從頭預(yù)訓(xùn)練實現(xiàn)，全自主知識產(chǎn)權(quán)，兼容華為昇騰等國產(chǎn)GPU

• 訓(xùn)練數(shù)據(jù)包含2.65萬億Tokens，源自200TB原始數(shù)據(jù)經(jīng)1000多道清洗工序提煉

• 支持中英等10+語言，中文Token壓縮率國內(nèi)領(lǐng)先

YAYI2雅意行業(yè)應(yīng)用

YAYI 2 在多個垂直領(lǐng)域展現(xiàn)出非常的能力，包括媒體宣傳、輿情分析、政務(wù)治理、金融分析等。此外，它還被應(yīng)用于教育、財稅、中醫(yī)藥、金融等領(lǐng)域，為企業(yè)提供 ai 輔助工具、知識庫問答系統(tǒng)、AI 創(chuàng)作機器人等解決方案。

• 政務(wù)領(lǐng)域：安全信息抽取、輿情專報生成、法律智能審批

• 金融場景：財報解析、投資合規(guī)管理、宏觀政策解讀

• 媒體創(chuàng)作：多語種新聞寫作、視頻理解、虛擬主播生成

• 專業(yè)工具：中醫(yī)智能問診、企業(yè)知識庫問答、編程語言支持

相較于Llama 2開源模型，YAYI 2在中文場景表現(xiàn)更好，且通過插件就可以實現(xiàn)計算器、天氣查詢等工具的調(diào)用。其安全架構(gòu)強化價值觀對齊，輸出內(nèi)容經(jīng)過實時審核，適合政企敏感場景。YAYI目前已在國家部委、金融機構(gòu)等落地，與華為云、北京銀行等建立生態(tài)合作。

YAYI 2 提供了 Base 和 Chat 兩個版本，開源的是 Base 版本，支持開發(fā)者在 GitHub 上獲取代碼、模型和訓(xùn)練數(shù)據(jù)。此外，該模型遵循 Apache-2.0 協(xié)議，允許商用和二次開發(fā)。

GitHub 倉庫：https://github.com/wenge-research/YAYI2

HuggingFace：https://huggingface.co/wenge-research/yayi2-30b