YAYI2，中科聞歌研發(fā)的一款新一代開(kāi)源大語(yǔ)言模型，其中文名為“雅意”。該模型包含 Base 和 Chat 版本，參數(shù)規(guī)模達(dá)到 30B，基于 Transformer 架構(gòu)構(gòu)建。

YAYI2采用了超過(guò) 2 萬(wàn)億 Tokens 的高質(zhì)量、多語(yǔ)言語(yǔ)料進(jìn)行預(yù)訓(xùn)練。針對(duì)通用和特定領(lǐng)域的應(yīng)用場(chǎng)景，我們采用了百萬(wàn)級(jí)指令進(jìn)行微調(diào)，同時(shí)借助人類(lèi)反饋強(qiáng)化學(xué)習(xí)方法，以更好地使模型與人類(lèi)價(jià)值觀對(duì)齊。

YAYI2雅意核心能力

• 中文知識(shí)問(wèn)答：AGIEval、CMMLU評(píng)測(cè)第一，MMLU第二

• 信息抽取：零樣本中文實(shí)體抽取達(dá)SOTA，英文對(duì)標(biāo)ChatGPT

• 多模態(tài)交互：圖文互生成、PDF解析、網(wǎng)頁(yè)實(shí)時(shí)理解

• 角色扮演：支持上萬(wàn)種自定義角色，超長(zhǎng)輪對(duì)話(huà)關(guān)聯(lián)

YAYI2雅意技術(shù)架構(gòu)

• 300億參數(shù)規(guī)模，支持128k超長(zhǎng)上下文（約20萬(wàn)字文本處理）

• 從頭預(yù)訓(xùn)練實(shí)現(xiàn)，全自主知識(shí)產(chǎn)權(quán)，兼容華為昇騰等國(guó)產(chǎn)GPU

• 訓(xùn)練數(shù)據(jù)包含2.65萬(wàn)億Tokens，源自200TB原始數(shù)據(jù)經(jīng)1000多道清洗工序提煉

• 支持中英等10+語(yǔ)言，中文Token壓縮率國(guó)內(nèi)領(lǐng)先

YAYI2雅意行業(yè)應(yīng)用

YAYI 2 在多個(gè)垂直領(lǐng)域展現(xiàn)出非常的能力，包括媒體宣傳、輿情分析、政務(wù)治理、金融分析等。此外，它還被應(yīng)用于教育、財(cái)稅、中醫(yī)藥、金融等領(lǐng)域，為企業(yè)提供 ai 輔助工具、知識(shí)庫(kù)問(wèn)答系統(tǒng)、AI 創(chuàng)作機(jī)器人等解決方案。

• 政務(wù)領(lǐng)域：安全信息抽取、輿情專(zhuān)報(bào)生成、法律智能審批

• 金融場(chǎng)景：財(cái)報(bào)解析、投資合規(guī)管理、宏觀政策解讀

• 媒體創(chuàng)作：多語(yǔ)種新聞寫(xiě)作、視頻理解、虛擬主播生成

• 專(zhuān)業(yè)工具：中醫(yī)智能問(wèn)診、企業(yè)知識(shí)庫(kù)問(wèn)答、編程語(yǔ)言支持

相較于Llama 2開(kāi)源模型，YAYI 2在中文場(chǎng)景表現(xiàn)更好，且通過(guò)插件就可以實(shí)現(xiàn)計(jì)算器、天氣查詢(xún)等工具的調(diào)用。其安全架構(gòu)強(qiáng)化價(jià)值觀對(duì)齊，輸出內(nèi)容經(jīng)過(guò)實(shí)時(shí)審核，適合政企敏感場(chǎng)景。YAYI目前已在國(guó)家部委、金融機(jī)構(gòu)等落地，與華為云、北京銀行等建立生態(tài)合作。

YAYI 2 提供了 Base 和 Chat 兩個(gè)版本，開(kāi)源的是 Base 版本，支持開(kāi)發(fā)者在 GitHub 上獲取代碼、模型和訓(xùn)練數(shù)據(jù)。此外，該模型遵循 Apache-2.0 協(xié)議，允許商用和二次開(kāi)發(fā)。

GitHub 倉(cāng)庫(kù)：https://github.com/wenge-research/YAYI2

HuggingFace：https://huggingface.co/wenge-research/yayi2-30b