SurveyForge是什么？

SurveyForge 是上海 ai Lab 開發的一款工具，專門用于自動生成調研論文。它通過研究人類撰寫的論文大綱結構和相關領域的文獻來生成合理的大綱，并利用高質量的學術論文來自動生成和優化內容。此外，作者們還創建了 SurveyBench 基準，其中包含 100 篇由人類撰寫的調研論文，用于從多個角度評估 AI 生成的論文質量。這解決了傳統 AI 生成論文時常見的結構不合理和參考文獻不準確等問題。

核心功能

• 大綱生成：SurveyForge 通過研究人類撰寫的論文大綱和相關文獻，生成清晰、合理的結構。

• 內容生成：它會檢索高質量文獻，并結合記憶機制來生成和優化論文內容。

• 多維度評估：SurveyBench 基準包含 100 篇人類撰寫的綜述論文，用于從參考文獻質量、大綱質量和內容質量三個方面評估 AI 生成的綜述。

技術細節

• 大綱生成：通過分析人類撰寫的論文結構和相關領域的文獻來創建大綱。

• 內容生成：利用高質量文獻生成并優化論文內容。

• 評估基準：SurveyBench 包含 100 篇人類撰寫的論文，涵蓋 10 個不同主題，確保主題一致性和學術嚴謹性。

優勢

• 結構與邏輯：生成的大綱質量接近人類水平，解決了傳統 AI 方法中結構失衡的問題。

• 參考文獻：核心文獻的覆蓋率提高了近一倍，引用更加準確。

• 內容質量：生成的內容更加連貫、全面，且成本極低，生成約 64k token 的綜述僅需不到 0.5 美元，整個過程僅需 10 分鐘。

• 評估標準：SurveyBench 提供了客觀的評估標準，便于比較不同方法的性能。

使用方法

• 生成論文：由于 API 調用頻率限制，用戶需要通過郵件或在倉庫中提交問題來請求生成論文。生成時間大約為 10 分鐘。

• 評估論文：使用 SurveyBench 進行評估，可以通過命令行運行 cd SurveyBench && python test.py --is_human_eval 來完成評估。

項目鏈接

Github：https://github.com/Alpha-Innovator/SurveyForge