LLM Course是什么？

LLM Course提供了一個(gè)關(guān)于LLMs課程的集合，包含學(xué)習(xí)路線圖和Colab筆記本，幫助用戶從基礎(chǔ)到高級(jí)逐步掌握LLMs的知識(shí)和應(yīng)用，課程包括數(shù)學(xué)、Python編程、神經(jīng)網(wǎng)絡(luò)、自然語(yǔ)言處理（NLP）、LLM架構(gòu)、預(yù)訓(xùn)練、微調(diào)、偏好對(duì)齊、評(píng)估、量化以及部署等內(nèi)容。

LLM Course主要內(nèi)容

LLM Fundamentals

• 數(shù)學(xué)基礎(chǔ)：線性代數(shù)、微積分、概率和統(tǒng)計(jì)。

• Python編程：Python基礎(chǔ)、數(shù)據(jù)科學(xué)庫(kù)、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)庫(kù)。

• 神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)、訓(xùn)練和優(yōu)化、過(guò)擬合及其解決方法。

• 自然語(yǔ)言處理（NLP）：文本預(yù)處理、特征提取技術(shù)、詞嵌入、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）。

LLM Scientist

• LLM架構(gòu)：Transformer架構(gòu)、注意力機(jī)制、采樣策略。

• 預(yù)訓(xùn)練模型：數(shù)據(jù)準(zhǔn)備、分布式訓(xùn)練、訓(xùn)練優(yōu)化、監(jiān)控。

• 后訓(xùn)練數(shù)據(jù)集：數(shù)據(jù)結(jié)構(gòu)、存儲(chǔ)與聊天模板、合成數(shù)據(jù)生成、數(shù)據(jù)增強(qiáng)、質(zhì)量過(guò)濾。

• 監(jiān)督微調(diào)（SFT）：訓(xùn)練技術(shù)、參數(shù)設(shè)置、分布式訓(xùn)練、監(jiān)控。

• 偏好對(duì)齊：直接偏好優(yōu)化（DPO）、近端策略優(yōu)化（PPO）、監(jiān)控。

• 評(píng)估：自動(dòng)化基準(zhǔn)測(cè)試、人工評(píng)估、模型評(píng)估、反饋信號(hào)。

• 量化：基礎(chǔ)技術(shù)、GGUF & llama.cpp、GPTQ & AWQ、SmoothQuant & ZeroQuant。

• 新趨勢(shì)：模型合并、多模態(tài)模型、可解釋性、測(cè)試時(shí)計(jì)算。

LLM Engineer

• 運(yùn)行LLMs：LLM API、開源LLMs、提示工程、結(jié)構(gòu)化輸出。

• 構(gòu)建向量存儲(chǔ)：文檔加載、分割、嵌入模型、向量數(shù)據(jù)庫(kù)。

• 檢索增強(qiáng)生成（RAG）：編排器、檢索器、記憶、評(píng)估。

• 高級(jí)RAG：查詢構(gòu)造、代理和工具、后處理、程序化LLMs。

• 推理優(yōu)化：Flash Attention、鍵值緩存、推測(cè)解碼。

• 部署LLMs：本地部署、演示部署、服務(wù)器部署、邊緣部署。

• 保護(hù)LLMs：提示注入、后門攻擊、防御措施。

工具和資源

• 工具：LLM AutoEval、LazyMergekit、LazyAxolotl、AutoQuant、Model Family Tree、ZeroSpace。

• 資源：3Blue1Brown視頻、StatQuest教程、Khan Academy課程、Real Python教程、freeCodeCamp視頻等。

項(xiàng)目鏈接

Github：https://github.com/mlabonne/llm-course

Blog：https://mlabonne.github.io/blog/