提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
FastbuildAI
LLM Course
LLM Course簡介
LLM Course是什么？
LLM Course提供了一個關(guān)于LLMs課程的集合，包含學(xué)習(xí)路線圖和Colab筆記本，幫助用戶從基礎(chǔ)到高級逐步掌握LLMs的知識和應(yīng)用，課程包括數(shù)學(xué)、Python編程、神經(jīng)網(wǎng)絡(luò)、自然語言處理（NLP）、LLM架構(gòu)、預(yù)訓(xùn)練、微調(diào)、偏好對齊、評估、量化以及部署等內(nèi)容。
LLM Course主要內(nèi)容
LLM Fundamentals
數(shù)學(xué)基礎(chǔ)：線性代數(shù)、微積分、概率和統(tǒng)計。
Python編程：Python基礎(chǔ)、數(shù)據(jù)科學(xué)庫、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)庫。
神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識、訓(xùn)練和優(yōu)化、過擬合及其解決方法。
自然語言處理（NLP）：文本預(yù)處理、特征提取技術(shù)、詞嵌入、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）。
LLM Scientist
LLM架構(gòu)：Transformer架構(gòu)、注意力機(jī)制、采樣策略。
預(yù)訓(xùn)練模型：數(shù)據(jù)準(zhǔn)備、分布式訓(xùn)練、訓(xùn)練優(yōu)化、監(jiān)控。
后訓(xùn)練數(shù)據(jù)集：數(shù)據(jù)結(jié)構(gòu)、存儲與聊天模板、合成數(shù)據(jù)生成、數(shù)據(jù)增強(qiáng)、質(zhì)量過濾。
監(jiān)督微調(diào)（SFT）：訓(xùn)練技術(shù)、參數(shù)設(shè)置、分布式訓(xùn)練、監(jiān)控。
偏好對齊：直接偏好優(yōu)化（DPO）、近端策略優(yōu)化（PPO）、監(jiān)控。
評估：自動化基準(zhǔn)測試、人工評估、模型評估、反饋信號。
量化：基礎(chǔ)技術(shù)、GGUF & llama.cpp、GPTQ & AWQ、SmoothQuant & ZeroQuant。
新趨勢：模型合并、多模態(tài)模型、可解釋性、測試時計算。
LLM Engineer
運(yùn)行LLMs：LLM API、開源LLMs、提示工程、結(jié)構(gòu)化輸出。
構(gòu)建向量存儲：文檔加載、分割、嵌入模型、向量數(shù)據(jù)庫。
檢索增強(qiáng)生成（RAG）：編排器、檢索器、記憶、評估。
高級RAG：查詢構(gòu)造、代理和工具、后處理、程序化LLMs。
推理優(yōu)化：Flash Attention、鍵值緩存、推測解碼。
部署LLMs：本地部署、演示部署、服務(wù)器部署、邊緣部署。
保護(hù)LLMs：提示注入、后門攻擊、防御措施。
工具和資源
工具：LLM AutoEval、LazyMergekit、LazyAxolotl、AutoQuant、Model Family Tree、ZeroSpace。
資源：3Blue1Brown視頻、StatQuest教程、Khan Academy課程、Real Python教程、freeCodeCamp視頻等。
項目鏈接
Github：https://github.com/mlabonne/llm-course
Blog：https://mlabonne.github.io/blog/
