Awesome Chinese LLM是什么？

Awesome Chinese LLM整理了開(kāi)源的中文大語(yǔ)言模型（LLM），主要關(guān)注規(guī)模較小、可私有化部署且訓(xùn)練成本較低的模型。它涵蓋了底座模型、垂直領(lǐng)域微調(diào)及應(yīng)用、數(shù)據(jù)集與教程等內(nèi)容，目前已收錄了100多個(gè)相關(guān)資源。

Awesome Chinese LLM主要內(nèi)容

常見(jiàn)底座模型細(xì)節(jié)概覽：

• 列出了如ChatGLM、LLaMA、Baichuan、Qwen等模型的參數(shù)大小、訓(xùn)練token數(shù)、訓(xùn)練最大長(zhǎng)度及是否可商用等信息。

模型分類：

• 文本LLM模型：如ChatGLM、LLaMA等。

• 多模態(tài)LLM模型：如VisualGLM-6B、CogVLM等，支持圖像、中文和英文的多模態(tài)對(duì)話。

• 應(yīng)用分類：

• 垂直領(lǐng)域微調(diào)：涵蓋醫(yī)療、法律、金融、教育等多個(gè)領(lǐng)域，如DoctorGLM（醫(yī)療）、LawGPT_zh（法律）、Cornucopia（金融）等。

• LangChain應(yīng)用：如langchain-ChatGLM，基于本地知識(shí)庫(kù)的問(wèn)答應(yīng)用。

• 其他應(yīng)用：如wenda（LLM調(diào)用平臺(tái)）、JittorLLMs（大模型推理庫(kù)）等。

數(shù)據(jù)集：

• 預(yù)訓(xùn)練數(shù)據(jù)集：如MNBVC（超大規(guī)模中文語(yǔ)料集）、WuDaoCorporaText等。

• SFT數(shù)據(jù)集：如RefGPT（生成大量真實(shí)和定制的對(duì)話數(shù)據(jù)集）、COIG等。

• 偏好數(shù)據(jù)集：如CValues（價(jià)值對(duì)齊數(shù)據(jù)集）、GPT-4-LLM等。

LLM訓(xùn)練微調(diào)框架：

• 如DeepSpeed Chat（一鍵式RLHF訓(xùn)練框架）、LLaMA Efficient Tuning（基于PEFT的LLaMA微調(diào)框架）等。

LLM推理部署框架：

• 如vLLM（適用于大批量Prompt輸入）、DeepSpeed-MII（支持多個(gè)機(jī)器之間的負(fù)載均衡）等。

• LLM評(píng)測(cè)：

• 如FlagEval（大模型評(píng)測(cè)體系及開(kāi)放平臺(tái)）、C-ｅｖａｌ（中文大模型的知識(shí)評(píng)估基準(zhǔn)）等。

LLM教程：

• LLM基礎(chǔ)知識(shí)：如HuggingLLM（介紹ChatGPT原理、使用和應(yīng)用）。

• 提示工程教程：如面向開(kāi)發(fā)者的LLM入門課程、提示工程指南等。

• LLM應(yīng)用教程：如LangChain中文網(wǎng)、OpenAI Cookbook等。

• LLM實(shí)戰(zhàn)教程：如LLMs九層妖塔、llm-action等。

Awesome Chinese LLM的特點(diǎn)

• 資源豐富：涵蓋了從模型、應(yīng)用到數(shù)據(jù)集和教程的全方位資源。

• 分類清晰：按模型類型、應(yīng)用領(lǐng)域、數(shù)據(jù)集用途等進(jìn)行分類，方便用戶查找。

• 實(shí)用性強(qiáng)：提供了大量可直接使用的開(kāi)源模型和應(yīng)用，適合不同需求的用戶。

• 社區(qū)貢獻(xiàn)：鼓勵(lì)用戶貢獻(xiàn)未收錄的開(kāi)源資源，共同完善項(xiàng)目。

Awesome Chinese LLM適用人群：

研究人員：可以利用該倉(cāng)庫(kù)的模型和數(shù)據(jù)集進(jìn)行研究和實(shí)驗(yàn)。

開(kāi)發(fā)者：可以參考應(yīng)用案例和框架進(jìn)行開(kāi)發(fā)和部署。

學(xué)習(xí)者：可以通過(guò)教程和文檔學(xué)習(xí)LLM的相關(guān)知識(shí)和技能。