DeepSeek-V3/R1-671B 全參數微調指南是什么？

DeepSeek-V3/R1-671B 全參數微調指南是一個關于 DeepSeek-V3/R1-671B 模型全參數微調的開源指南，由中國科學院自動化研究所和中科聞歌聯合推出。項目提供了從訓練到推理的完整代碼和腳本，并總結了訓練和部署過程中的經驗和問題解決方案。

功能特點

• 全參數微調支持：提供從訓練到推理的完整代碼和腳本，支持數據并行和序列并行。

• 硬件優化：提供詳細的硬件配置建議和實驗結果，幫助高效利用計算資源。

• 數據格式適配：支持 Openai 標準數據格式，并擴展了對 reasoning 數據的兼容。

• 推理部署：支持將模型權重轉換為 Hugging Face 格式，并通過 vLLM 等框架進行推理部署。

DeepSeek-V3/R1-671B 全參數微調指南用途

• 自然語言處理：適用于文本生成、機器翻譯、情感分析等任務。

• 復雜場景推理：能夠處理長篇幅文檔和多領域任務，如醫療輔助診斷、金融分析等。

• 科研與技術探索：作為技術試驗平臺，探索通用人工智能（AGI）的潛在路徑。

• 企業級應用：可用于智能客服、文檔分析等場景，提升企業效率和決策能力。

如何使用DeepSeek-V3/R1-671B 全參數微調指南

1. 硬件配置

• 需要 32 臺服務器，每臺配置：

• 8 x NVIDIA H100 80GB GPU

• 96 核 CPU

• 2TB 內存

• 100TB 共享存儲

• InfiniBand 400G 網絡

2. 環境配置

conda create -n ds_env python=3.10
conda activate ds_env
pip install -r requirements.txt
cp -r ./code/xtuner /path/to/env/site-packages

3. 數據準備

數據格式示例：

{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "用戶問題"},
{"role": "assistant", "content": "思考過程\n最終回答", "loss": true}
]
}

4. 啟動訓練

使用 pdsh 或 slurm 啟動訓練：

pdsh -R ssh -w node[0-31] 'bash ./code/scripts/sft_deepseek.sh'

5. 模型權重轉換

將訓練結果轉換為 Hugging Face 格式：

bash ./code/scripts/convert_pth_to_hf.sh

6. 推理部署

使用 vLLM 部署：

# 啟動 Ray
pdsh -R ssh -w node0 "conda activate vllm && ray start --head"
pdsh -R ssh -w node1,node2,node3 "conda activate vllm && ray start --address='node0:6379'"
# 啟動 vLLM
pdsh -R ssh -w node0 "vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 4"

GitHub倉庫：https://github.com/ScienceOne-AI/DeepSeek-671B-SFT-Guide