Awesome Chinese LLM是什么？

Awesome Chinese LLM整理了開源的中文大語言模型（LLM），主要關注規模較小、可私有化部署且訓練成本較低的模型。它涵蓋了底座模型、垂直領域微調及應用、數據集與教程等內容，目前已收錄了100多個相關資源。

Awesome Chinese LLM主要內容

常見底座模型細節概覽：

• 列出了如ChatGLM、LLaMA、Baichuan、Qwen等模型的參數大小、訓練token數、訓練最大長度及是否可商用等信息。

模型分類：

• 文本LLM模型：如ChatGLM、LLaMA等。

• 多模態LLM模型：如VisualGLM-6B、CogVLM等，支持圖像、中文和英文的多模態對話。

• 應用分類：

• 垂直領域微調：涵蓋醫療、法律、金融、教育等多個領域，如DoctorGLM（醫療）、LawGPT_zh（法律）、Cornucopia（金融）等。

• LangChain應用：如langchain-ChatGLM，基于本地知識庫的問答應用。

• 其他應用：如wenda（LLM調用平臺）、JittorLLMs（大模型推理庫）等。

數據集：

• 預訓練數據集：如MNBVC（超大規模中文語料集）、WuDaoCorporaText等。

• SFT數據集：如RefGPT（生成大量真實和定制的對話數據集）、COIG等。

• 偏好數據集：如CValues（價值對齊數據集）、GPT-4-LLM等。

LLM訓練微調框架：

• 如DeepSpeed Chat（一鍵式RLHF訓練框架）、LLaMA Efficient Tuning（基于PEFT的LLaMA微調框架）等。

LLM推理部署框架：

• 如vLLM（適用于大批量Prompt輸入）、DeepSpeed-MII（支持多個機器之間的負載均衡）等。

• LLM評測：

• 如FlagEval（大模型評測體系及開放平臺）、C-ｅｖａｌ（中文大模型的知識評估基準）等。

LLM教程：

• LLM基礎知識：如HuggingLLM（介紹ChatGPT原理、使用和應用）。

• 提示工程教程：如面向開發者的LLM入門課程、提示工程指南等。

• LLM應用教程：如LangChain中文網、OpenAI Cookbook等。

• LLM實戰教程：如LLMs九層妖塔、llm-action等。

Awesome Chinese LLM的特點

• 資源豐富：涵蓋了從模型、應用到數據集和教程的全方位資源。

• 分類清晰：按模型類型、應用領域、數據集用途等進行分類，方便用戶查找。

• 實用性強：提供了大量可直接使用的開源模型和應用，適合不同需求的用戶。

• 社區貢獻：鼓勵用戶貢獻未收錄的開源資源，共同完善項目。

Awesome Chinese LLM適用人群：

研究人員：可以利用該倉庫的模型和數據集進行研究和實驗。

開發者：可以參考應用案例和框架進行開發和部署。

學習者：可以通過教程和文檔學習LLM的相關知識和技能。