SWE-Lancer是由Openai推出的一項(xiàng)基準(zhǔn)測試，主要用于評估處理開泊軟件工程工作的模型性能。該測試收集了來自Upwork的超過1400個(gè)任務(wù)，這些任務(wù)總價(jià)值約100萬美元。SWE - Lancer聚焦于評估代碼補(bǔ)丁和管理決策，通過讓模型從多個(gè)選項(xiàng)里挑選最佳提案，盡可能真實(shí)地模擬工程團(tuán)隊(duì)的角色工作場景。

核心評估維度：

評估任務(wù)多樣性方面

SWE - Lancer涵蓋各種各樣的軟件開發(fā)任務(wù)類型，這使得它成為分析模型能力十分有效的工具。它要求模型從給定的多個(gè)選項(xiàng)中選取最佳解決方案，這種方式能讓基準(zhǔn)測試更貼合實(shí)際地反映工程團(tuán)隊(duì)的工作流程。

經(jīng)濟(jì)價(jià)值評估方面

這個(gè)基準(zhǔn)測試不只是評估技術(shù)能力，還會(huì)考量任務(wù)的經(jīng)濟(jì)價(jià)值。這種評估方法為衡量模型在現(xiàn)實(shí)世界應(yīng)用中的有效性開辟了新的視角，能讓開發(fā)者更好地理解AI模型可能帶來的經(jīng)濟(jì)效益。

SWE-Lancer的功能特征：

真實(shí)世界任務(wù)：SWE - Lancer包含一系列真實(shí)的軟件開發(fā)任務(wù)，這些任務(wù)的涵蓋范圍從微小的bug修復(fù)到大型功能實(shí)現(xiàn)，這樣能確保模型在實(shí)際開發(fā)場景下的有效評估。

端到端測試：與傳統(tǒng)的單元測試不同，SWE - Lancer采用端到端測試法，這就要求模型具備處理完整問題的能力，更加接近軟件工程師在實(shí)際工作中的決策流程。

多選項(xiàng)評估：模型要從多個(gè)可能的解決方案里挑選最佳提案，這模擬了工程團(tuán)隊(duì)面臨問題時(shí)的決策過程。

經(jīng)濟(jì)價(jià)值映射：任務(wù)價(jià)值總計(jì)100萬美元，這一方面體現(xiàn)了任務(wù)的復(fù)雜性和重要性，另一方面也展示了模型表現(xiàn)可能產(chǎn)生的潛在經(jīng)濟(jì)影響。

SWE-Lancer的應(yīng)用：

• 模型性能評估：為研究者和開發(fā)者搭建了一個(gè)測試平臺，可用于測試和對比大型語言模型在軟件工程任務(wù)上的表現(xiàn)。

• 軟件開發(fā)輔助：從長遠(yuǎn)來看，SWE - Lancer或許能夠幫助優(yōu)化人工智能在軟件開發(fā)當(dāng)中的應(yīng)用，例如自動(dòng)代碼審查、錯(cuò)誤修復(fù)建議等。

• 教育與培訓(xùn)：能夠作為教學(xué)工具，助力學(xué)生和開發(fā)者理解軟件工程的最佳實(shí)踐方法以及面臨的挑戰(zhàn)。

• 行業(yè)標(biāo)準(zhǔn)：有望成為評估人工智能在軟件工程領(lǐng)域?qū)嵱眯缘男袠I(yè)標(biāo)準(zhǔn)。

SWE-Lancer的使用方法：

• 選擇任務(wù)：從SWE - Lancer提供的任務(wù)列表里挑選一個(gè)或者多個(gè)要評估的任務(wù)。

• 模型處理：將選好的任務(wù)輸入到人工智能模型中，模型會(huì)依據(jù)自身的訓(xùn)練情況和能力對任務(wù)進(jìn)行執(zhí)行。

• 結(jié)果評估：對模型生成的結(jié)果進(jìn)行評估，查看是否符合預(yù)先設(shè)定的質(zhì)量標(biāo)準(zhǔn)，并且根據(jù)任務(wù)的經(jīng)濟(jì)價(jià)值加以分析。

論文：https://arxiv.org/abs/2502.12115

詳細(xì)：https://openai.com/index/swe-lancer/