LLM Engineer Toolkit是什么？

LLM Engineer Toolkit是一個精心整理的LLM工具庫，它將120多個與LLM相關(guān)的庫按照功能和用途進行了細致分類，涵蓋了從訓(xùn)練微調(diào)、應(yīng)用開發(fā)、推理服務(wù)到安全評估等 LLM 開發(fā)全流程所需的工具。

LLM Engineer Toolkit工具分類

1. LLM訓(xùn)練和微調(diào)

• unsloth：快速微調(diào)LLM，減少內(nèi)存占用。

• PEFT：參數(shù)高效微調(diào)庫。

• TRL：通過強化學(xué)習(xí)訓(xùn)練Transformer語言模型。

• DeepSpeed：分布式訓(xùn)練和推理優(yōu)化庫。

2. LLM應(yīng)用開發(fā)

• LangChain：開發(fā)基于LLM的應(yīng)用。

• Llama Index：為LLM應(yīng)用提供數(shù)據(jù)框架。

• Haystack：端到端LLM框架，支持與Transformer模型和向量搜索集成。

3. LLM推理

• vLLM：高吞吐量、內(nèi)存高效的推理引擎。

• LightLLM：輕量級、可擴展的推理框架。

• TensorRT-LLM：Nvidia框架，用于優(yōu)化LLM推理。

4. LLM服務(wù)

• Langcorn：自動將LangChain應(yīng)用部署為FastAPI服務(wù)。

• LitServe：支持批量、流式傳輸和GPU自動擴展的快速服務(wù)引擎。

5. LLM數(shù)據(jù)提取

• Crawl4AI：開源的LLM友好型網(wǎng)絡(luò)爬蟲。

• Docling：文檔解析工具。

• PyMuPDF4LLM：用于提取PDF內(nèi)容的工具。

6. LLM數(shù)據(jù)生成

• DataDreamer：合成數(shù)據(jù)生成庫。

• fabricator：靈活的合成數(shù)據(jù)生成框架。

7. LLM安全與監(jiān)控

• LLM Guard：LLM交互的安全工具。

• Weights & Biases：跟蹤LLM性能。

• Helicone：開源的LLM可觀測性平臺。

8. LLM評估

• Ragas：LLM應(yīng)用評估工具。

• LangTest：提供多種測試類型，評估LLM的準確性、偏見和魯棒性。

9. LLM嵌入模型

• Sentence-Transformers：最先進的文本嵌入模型。

• Text Embedding Inference：高性能嵌入模型推理工具。

10. 其他

• LLM Transparency Tool：分析Transformer模型內(nèi)部機制的工具。

• mergekit：合并預(yù)訓(xùn)練LLM的工具。

llm-engineer-toolkit工具庫GitHub倉庫：https://github.com/KalyanKS-NLP/llm-engineer-toolkit