SWE-Lancer是由Openai推出的一項基準(zhǔn)測試，主要用于評估處理開泊軟件工程工作的模型性能。該測試收集了來自Upwork的超過1400個任務(wù)，這些任務(wù)總價值約100萬美元。SWE - Lancer聚焦于評估代碼補丁和管理決策，通過讓模型從多個選項里挑選最佳提案，盡可能真實地模擬工程團隊的角色工作場景。

核心評估維度：

評估任務(wù)多樣性方面

SWE - Lancer涵蓋各種各樣的軟件開發(fā)任務(wù)類型，這使得它成為分析模型能力十分有效的工具。它要求模型從給定的多個選項中選取最佳解決方案，這種方式能讓基準(zhǔn)測試更貼合實際地反映工程團隊的工作流程。

經(jīng)濟價值評估方面

這個基準(zhǔn)測試不只是評估技術(shù)能力，還會考量任務(wù)的經(jīng)濟價值。這種評估方法為衡量模型在現(xiàn)實世界應(yīng)用中的有效性開辟了新的視角，能讓開發(fā)者更好地理解AI模型可能帶來的經(jīng)濟效益。

SWE-Lancer的功能特征：

真實世界任務(wù)：SWE - Lancer包含一系列真實的軟件開發(fā)任務(wù)，這些任務(wù)的涵蓋范圍從微小的bug修復(fù)到大型功能實現(xiàn)，這樣能確保模型在實際開發(fā)場景下的有效評估。

端到端測試：與傳統(tǒng)的單元測試不同，SWE - Lancer采用端到端測試法，這就要求模型具備處理完整問題的能力，更加接近軟件工程師在實際工作中的決策流程。

多選項評估：模型要從多個可能的解決方案里挑選最佳提案，這模擬了工程團隊面臨問題時的決策過程。

經(jīng)濟價值映射：任務(wù)價值總計100萬美元，這一方面體現(xiàn)了任務(wù)的復(fù)雜性和重要性，另一方面也展示了模型表現(xiàn)可能產(chǎn)生的潛在經(jīng)濟影響。

SWE-Lancer的應(yīng)用：

• 模型性能評估：為研究者和開發(fā)者搭建了一個測試平臺，可用于測試和對比大型語言模型在軟件工程任務(wù)上的表現(xiàn)。

• 軟件開發(fā)輔助：從長遠(yuǎn)來看，SWE - Lancer或許能夠幫助優(yōu)化人工智能在軟件開發(fā)當(dāng)中的應(yīng)用，例如自動代碼審查、錯誤修復(fù)建議等。

• 教育與培訓(xùn)：能夠作為教學(xué)工具，助力學(xué)生和開發(fā)者理解軟件工程的最佳實踐方法以及面臨的挑戰(zhàn)。

• 行業(yè)標(biāo)準(zhǔn)：有望成為評估人工智能在軟件工程領(lǐng)域?qū)嵱眯缘男袠I(yè)標(biāo)準(zhǔn)。

SWE-Lancer的使用方法：

• 選擇任務(wù)：從SWE - Lancer提供的任務(wù)列表里挑選一個或者多個要評估的任務(wù)。

• 模型處理：將選好的任務(wù)輸入到人工智能模型中，模型會依據(jù)自身的訓(xùn)練情況和能力對任務(wù)進行執(zhí)行。

• 結(jié)果評估：對模型生成的結(jié)果進行評估，查看是否符合預(yù)先設(shè)定的質(zhì)量標(biāo)準(zhǔn)，并且根據(jù)任務(wù)的經(jīng)濟價值加以分析。

論文：https://arxiv.org/abs/2502.12115

詳細(xì)：https://openai.com/index/swe-lancer/