LLM Course是什么？

LLM Course提供了一個關于LLMs課程的集合，包含學習路線圖和Colab筆記本，幫助用戶從基礎到高級逐步掌握LLMs的知識和應用，課程包括數學、Python編程、神經網絡、自然語言處理（NLP）、LLM架構、預訓練、微調、偏好對齊、評估、量化以及部署等內容。

LLM Course主要內容

LLM Fundamentals

• 數學基礎：線性代數、微積分、概率和統計。

• Python編程：Python基礎、數據科學庫、數據處理、機器學習庫。

• 神經網絡：神經網絡的基礎知識、訓練和優化、過擬合及其解決方法。

• 自然語言處理（NLP）：文本預處理、特征提取技術、詞嵌入、循環神經網絡（RNNs）。

LLM Scientist

• LLM架構：Transformer架構、注意力機制、采樣策略。

• 預訓練模型：數據準備、分布式訓練、訓練優化、監控。

• 后訓練數據集：數據結構、存儲與聊天模板、合成數據生成、數據增強、質量過濾。

• 監督微調（SFT）：訓練技術、參數設置、分布式訓練、監控。

• 偏好對齊：直接偏好優化（DPO）、近端策略優化（PPO）、監控。

• 評估：自動化基準測試、人工評估、模型評估、反饋信號。

• 量化：基礎技術、GGUF & llama.cpp、GPTQ & AWQ、SmoothQuant & ZeroQuant。

• 新趨勢：模型合并、多模態模型、可解釋性、測試時計算。

LLM Engineer

• 運行LLMs：LLM API、開源LLMs、提示工程、結構化輸出。

• 構建向量存儲：文檔加載、分割、嵌入模型、向量數據庫。

• 檢索增強生成（RAG）：編排器、檢索器、記憶、評估。

• 高級RAG：查詢構造、代理和工具、后處理、程序化LLMs。

• 推理優化：Flash Attention、鍵值緩存、推測解碼。

• 部署LLMs：本地部署、演示部署、服務器部署、邊緣部署。

• 保護LLMs：提示注入、后門攻擊、防御措施。

工具和資源

• 工具：LLM AutoEval、LazyMergekit、LazyAxolotl、AutoQuant、Model Family Tree、ZeroSpace。

• 資源：3Blue1Brown視頻、StatQuest教程、Khan Academy課程、Real Python教程、freeCodeCamp視頻等。

項目鏈接

Github：https://github.com/mlabonne/llm-course

Blog：https://mlabonne.github.io/blog/