ScoreFlow是什么？

ScoreFlow是一種自動化多智能體工作流生成與優化方法，它通過基于梯度的連續空間優化技術，結合Score-DPO，不斷改進協作流程，從而提升模型性能。它在問答、編程、數學推理等多個基準測試中比現有的方法都更優，并支持小模型以更低推理成本超越大模型。ScoreFlow由芝加哥大學、普林斯頓大學和牛津大學的團隊開發。

ScoreFlow功能特征

• 高效優化：利用連續空間的梯度優化技術，提升模型性能。

• 偏好優化：結合Score-DPO，集成了 Score-DPO，這是一種直接偏好優化方法的變體，考慮定量反饋，優化模型輸出。

• 小模型優勢：幫助小模型在性能上超越大模型，降低推理成本。

• 多任務支持：覆蓋問答、編程、數學推理等多種應用場景。

實驗結果

• 在六個不同的基準測試（包括問答、編碼和數學推理）中，ScoreFlow 相比現有基線實現了 8.2% 的改進。

• ScoreFlow 還能夠在較低的推理成本下，使較小的模型超越較大的模型。

ScoreFlow應用場景

• 問答系統：提升問答模型的準確性和效率。

• 編程輔助：優化代碼生成模型，提高編程效率。

• 數學推理：增強模型在數學問題解決中的表現。

• 多智能體協作：優化多智能體工作流，提升整體任務效率。

ScoreFlow使用方法

硬件準備：需要80-90GB顯存。

環境設置：

• 使用 conda 創建一個新的虛擬環境，并安裝必要的依賴項。

• 下載數據集并將其解壓縮到項目目錄中。

優化過程：

• 通過迭代優化模型，逐步提高性能。

• 使用 generate.py 和 evaluate.py 腳本進行優化。

• 可以通過增加迭代次數來調整優化過程。

推理：

• 在測試集上運行推理，評估模型的最終性能。

Github項目：https://github.com/Gen-Verse/ScoreFlow