ZeroSearch:阿里巴巴開源的一種創新大模型搜索引擎框架
2025年5月8日,阿里巴巴開源了ZeroSearch大模型搜索引擎,ZeroSearch是阿里巴巴通義實驗室開源的創新大模型搜索引擎框架,本質上是一種獨特的強化學習框架,無需與傳統意義上的真實搜索引擎進行交互,便能充分激勵大模型自身潛藏的搜索能力。
ZeroSearch主要功能
無需真實搜索引擎交互:模擬搜索引擎的方式,激勵大模型的搜索能力,避免與真實搜索引擎(如谷歌)的交互,降低成本和不可控性。
動態控制文檔質量:支持生成相關或噪聲文檔,基于調整提示中的關鍵詞,靈活控制生成文檔的質量,為訓練提供多樣化的檢索場景。
支持多種模型和算法:兼容不同參數規模的大模型(如3B、7B、14B),支持多種強化學習算法(如PPO、GRPO)。
ZeroSearch核心技術
無需真實搜索引擎交互:ZeroSearch通過強化學習框架,無需與谷歌等真實搜索引擎交互,就能激發大模型的搜索能力。它基于大模型在大規模預訓練過程中積累的知識,將其轉化為檢索模塊,根據查詢生成相關內容。
動態控制文檔質量:該框架可動態控制生成文檔的質量,支持生成相關或噪聲文檔,為訓練提供多樣化檢索場景。通過調整提示模板中的關鍵詞,引導模型學習質量分級檢索。
輕量級監督微調:先將大模型轉化為檢索模塊,使其能生成高質量或低質量文檔,適應不同訓練需求。
課程學習機制:在訓練中逐步增加文檔噪聲水平,讓模型從簡單場景開始,逐步適應更具挑戰性的任務,提升推理能力。
基于F1分數的獎勵機制:用F1分數作為獎勵信號,專注于答案準確性。
多輪交互模板:設計明確的推理、搜索和回答階段,引導模型逐步完成任務。
性能與成本優勢
性能表現:研究人員在NQ、TriviaQA等七大問答數據集上測試,70億參數監督微調模型搜索能力達33.06,140億參數模型達33.97,超過谷歌搜索的32.47。
成本效益:使用谷歌搜索進行約64,000次搜索查詢訓練,成本約586.70美元,而用140億參數大模型在四個A100 GPU上模擬訓練,成本僅70.80美元,成本降幅超80%。
ZeroSearch應用場景
智能問答系統:可以快速準確地回答用戶問題,適用于智能客服和智能助手等場景。
企業內部知識管理:企業可以利用ZeroSearch搭建高效的知識搜索平臺,員工能夠快速定位所需信息,提升工作效率。
項目地址
項目官網:https://alibaba-nlp.github.io/ZeroSearch/
GitHub倉庫:https://github.com/Alibaba-nlp/ZeroSearch
HuggingFace模型庫:https://huggingface.co/collections/sunhaonlp/zerosearch
arXiv技術論文:https://arxiv.org/pdf/2505.04588
相關文章
- 用戶登錄