Fin-R1:一款基于Qwen2.5的金融推理型大語言模型
Fin-R1是什么?
Fin-R1 是一款由上海財經大學統計與數據科學學院張立文教授團隊(SUFE-aiFLM-Lab)聯合財躍星辰開發的金融領域推理型大語言模型,Fin-R1模型以 Qwen2.5-7B-Instruct 為基座,利用 DeepSeek-R1 框架進行“數據蒸餾”與“雙輪質量篩選”,通過高質量思維鏈數據的監督微調+ 強化學習,有效解決了金融領域中數據碎片化、推理邏輯不可控和業務泛化能力不足等問題,為金融行業的智能化轉型提供了有力支持。
模型架構
Fin-R1 采用兩階段架構進行訓練:
數據生成階段:通過數據蒸餾和篩選方法,從多個權威數據源構建高質量的金融推理數據集 Fin-R1-Data。
模型訓練階段:基于 Qwen2.5-7B-Instruct 模型,通過監督微調(SFT)和強化學習(RL)進行訓練。
Fin-R1數據集特點
規模與質量:Fin-R1-Data 包含約 60,091 條完整的思考鏈(CoT),涵蓋中英文金融垂直領域的多維度專業知識。
模塊化設計:數據集分為金融代碼、金融專業知識、金融非推理類業務知識和金融推理類業務知識四大模塊。
Fin-R1核心特點
專業領域:專注于金融推理,涵蓋金融代碼、專業知識、業務知識等多個維度。
數據驅動:基于高質量的金融推理數據集 Fin-R1-Data 進行訓練,包含約 60,091 條完整的思考鏈。
訓練方式:采用監督微調(SFT)和強化學習(RL)相結合的方式,確保模型在金融推理任務中的準確性和可靠性。
輕量化設計:參數量僅為 7 億,但性能表現出色。
性能表現
權威評測:在金融領域權威評測中,平均得分 75.2 分,位居第二。
任務表現:在 FinQA 和 ConvFinQA 任務中分別獲得 76.0 分和 85.0 分,位居參評模型第一。
泛化能力:在其他金融基準測試中也展現出強大的跨任務泛化能力。
Fin-R1應用
金融代碼:用于實現金融模型、算法和分析任務的編程代碼。
金融計算:進行定量分析和計算,為金融決策提供依據。
金融安全合規:防范金融犯罪,確保業務操作符合法規要求。
智能風控:利用 AI 和大數據技術識別和管理金融風險。
ESG 分析:評估企業在環境、社會和治理方面的表現。
Fin-R1使用步驟
下載模型:通過 Hugging Face 頁面下載模型權重。
啟動服務:使用 vllm 工具啟動模型服務。
推理運行:通過 OpenAI API 格式調用模型進行推理。
Fin-R1相關鏈接
模型下載:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1
論文:https://arxiv.org/pdf/2503.16252