ScoreFlow是什么？

ScoreFlow是一種自動化多智能體工作流生成與優(yōu)化方法，它通過基于梯度的連續(xù)空間優(yōu)化技術(shù)，結(jié)合Score-DPO，不斷改進協(xié)作流程，從而提升模型性能。它在問答、編程、數(shù)學(xué)推理等多個基準(zhǔn)測試中比現(xiàn)有的方法都更優(yōu)，并支持小模型以更低推理成本超越大模型。ScoreFlow由芝加哥大學(xué)、普林斯頓大學(xué)和牛津大學(xué)的團隊開發(fā)。

ScoreFlow功能特征

• 高效優(yōu)化：利用連續(xù)空間的梯度優(yōu)化技術(shù)，提升模型性能。

• 偏好優(yōu)化：結(jié)合Score-DPO，集成了 Score-DPO，這是一種直接偏好優(yōu)化方法的變體，考慮定量反饋，優(yōu)化模型輸出。

• 小模型優(yōu)勢：幫助小模型在性能上超越大模型，降低推理成本。

• 多任務(wù)支持：覆蓋問答、編程、數(shù)學(xué)推理等多種應(yīng)用場景。

實驗結(jié)果

• 在六個不同的基準(zhǔn)測試（包括問答、編碼和數(shù)學(xué)推理）中，ScoreFlow 相比現(xiàn)有基線實現(xiàn)了 8.2% 的改進。

• ScoreFlow 還能夠在較低的推理成本下，使較小的模型超越較大的模型。

ScoreFlow應(yīng)用場景

• 問答系統(tǒng)：提升問答模型的準(zhǔn)確性和效率。

• 編程輔助：優(yōu)化代碼生成模型，提高編程效率。

• 數(shù)學(xué)推理：增強模型在數(shù)學(xué)問題解決中的表現(xiàn)。

• 多智能體協(xié)作：優(yōu)化多智能體工作流，提升整體任務(wù)效率。

ScoreFlow使用方法

硬件準(zhǔn)備：需要80-90GB顯存。

環(huán)境設(shè)置：

• 使用 conda 創(chuàng)建一個新的虛擬環(huán)境，并安裝必要的依賴項。

• 下載數(shù)據(jù)集并將其解壓縮到項目目錄中。

優(yōu)化過程：

• 通過迭代優(yōu)化模型，逐步提高性能。

• 使用 generate.py 和 evaluate.py 腳本進行優(yōu)化。

• 可以通過增加迭代次數(shù)來調(diào)整優(yōu)化過程。

推理：

• 在測試集上運行推理，評估模型的最終性能。

Github項目：https://github.com/Gen-Verse/ScoreFlow