SurveyForge:一款自動撰寫綜述論文的AI工具
SurveyForge是什么?
SurveyForge 是上海 ai Lab 開發(fā)的一款工具,專門用于自動生成調(diào)研論文。它通過研究人類撰寫的論文大綱結(jié)構(gòu)和相關(guān)領(lǐng)域的文獻來生成合理的大綱,并利用高質(zhì)量的學(xué)術(shù)論文來自動生成和優(yōu)化內(nèi)容。此外,作者們還創(chuàng)建了 SurveyBench 基準(zhǔn),其中包含 100 篇由人類撰寫的調(diào)研論文,用于從多個角度評估 AI 生成的論文質(zhì)量。這解決了傳統(tǒng) AI 生成論文時常見的結(jié)構(gòu)不合理和參考文獻不準(zhǔn)確等問題。
核心功能
大綱生成:SurveyForge 通過研究人類撰寫的論文大綱和相關(guān)文獻,生成清晰、合理的結(jié)構(gòu)。
內(nèi)容生成:它會檢索高質(zhì)量文獻,并結(jié)合記憶機制來生成和優(yōu)化論文內(nèi)容。
多維度評估:SurveyBench 基準(zhǔn)包含 100 篇人類撰寫的綜述論文,用于從參考文獻質(zhì)量、大綱質(zhì)量和內(nèi)容質(zhì)量三個方面評估 AI 生成的綜述。
技術(shù)細節(jié)
大綱生成:通過分析人類撰寫的論文結(jié)構(gòu)和相關(guān)領(lǐng)域的文獻來創(chuàng)建大綱。
內(nèi)容生成:利用高質(zhì)量文獻生成并優(yōu)化論文內(nèi)容。
評估基準(zhǔn):SurveyBench 包含 100 篇人類撰寫的論文,涵蓋 10 個不同主題,確保主題一致性和學(xué)術(shù)嚴(yán)謹(jǐn)性。
優(yōu)勢
結(jié)構(gòu)與邏輯:生成的大綱質(zhì)量接近人類水平,解決了傳統(tǒng) AI 方法中結(jié)構(gòu)失衡的問題。
參考文獻:核心文獻的覆蓋率提高了近一倍,引用更加準(zhǔn)確。
內(nèi)容質(zhì)量:生成的內(nèi)容更加連貫、全面,且成本極低,生成約 64k token 的綜述僅需不到 0.5 美元,整個過程僅需 10 分鐘。
評估標(biāo)準(zhǔn):SurveyBench 提供了客觀的評估標(biāo)準(zhǔn),便于比較不同方法的性能。
使用方法
生成論文:由于 API 調(diào)用頻率限制,用戶需要通過郵件或在倉庫中提交問題來請求生成論文。生成時間大約為 10 分鐘。
評估論文:使用 SurveyBench 進行評估,可以通過命令行運行 cd SurveyBench && python test.py --is_human_eval 來完成評估。
項目鏈接
Github:https://github.com/Alpha-Innovator/SurveyForge