提交您的產品 
Ai應用
Ai資訊
AI生圖
AI生視頻
開源AI應用平臺赤兔Chitu：清華大學團隊開源的高性能大語言模型推理框架
赤兔（Chitu）是什么？
赤兔（Chitu）是由清華大學團隊開源的一個高性能大語言模型推理框架，專注于提升推理效率、降低成本，并支持多種硬件平臺和部署場景。它可以讓DeepSeek推理成本降一半，性能翻番。赤兔（Chitu）的目標是為企業和開發者提供一個高效、靈活且易于部署的推理引擎，加速大語言模型（LLM）在實際應用中的落地。
赤兔（Chitu）功能特點
多元算力適配：支持 NVIDIA 最新旗艦到舊款的多系列產品，并為國產芯片提供優化支持。
全場景可伸縮：從純 CPU 部署、單 GPU 部署到大規模集群部署，提供靈活的可擴展解決方案。
長期穩定運行：適用于實際生產環境，能夠穩定承載并發業務流量。
高效推理性能：在 A800 集群測試中，相比部分國外開源框架，GPU 使用量減少 50% 的情況下推理速度提升 3.15 倍。
降低成本：通過優化硬件資源使用，降低了企業部署 ai 模型的門檻和成本。
赤兔（Chitu）應用場景
企業級 AI 應用：需要高性能、低延遲和高吞吐量的推理服務。
大規模集群部署：需要在多 GPU 或多節點環境中高效運行的場景。
資源受限的環境：需要在有限的硬件資源下實現高效推理的場景。
國產芯片適配：需要在國產硬件平臺上運行大語言模型的場景。
赤兔（Chitu）使用方法
1. 源碼安裝
git clone --recursive https://github.com/thu-pacman/chitu && cd chitu pip install -r requirements-build.txt pip install -U torch --index-url https://download.pytorch.org/whl/cu124 # 根據 CUDA 版本調整 TORCH_CUDA_ARCH_LIST=8.6 CHITU_SETUP_JOBS=4 MAX_JOBS=4 pip install --no-build-isolation
2.單 GPU 推理
torchrun --nproc_per_node 8 test/single_req_test.py request.max_new_tokens=64 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1 infer.pp_size=1 infer.tp_size=8
3.混合并行 (TP+PP)
torchrun --nnodes 2 --nproc_per_node 8 test/single_req_test.py request.max_new_tokens=64 infer.pp_size=2 infer.tp_size=8 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1
4.啟動服務
export WORLD_SIZE=8 torchrun --nnodes 1 \ --nproc_per_node 8 \ --master_port=22525 \ example/serve.py \ serve.port=21002 \ infer.stop_with_eos=False \ infer.cache_type=paged \ infer.pp_size=1 \ infer.tp_size=8 \ models=DeepSeek-R1 \ models.ckpt_dir=/data/DeepSeek-R1 \ keep_dtype_in_checkpoint=True \ infer.mla_absorb=absorb-without-precomp \ infer.soft_fp8=True \ infer.do_load=True \ infer.max_reqs=1 \ scheduler.prefill_first.num_tasks=100 \ infer.max_seq_len=4096 \ request.max_new_tokens=100 \ infer.use_cuda_graph=True
5.性能測試
python benchmarks/benchmark_serving.py \ --model "deepseek-r1" \ --iterations 10 \ --seq-len 10 \ --warmup 3 \ --base-url http://localhost:21002
GitHub倉庫：https://github.com/thu-pacman/chitu
