UniversalRAG是什么？

UniversalRAG 是一種新型的檢索增強生成RAG框架，它能檢索文本、圖像和視頻等多種類型的內容，還能根據需要選擇不同大小的信息塊，比如段落、文檔、視頻片段或完整視頻。這個框架里有個“模態感知路由器”，可以根據需求自動挑選最合適的內容類型，避免偏向某種特定類型。它還能根據不同任務的需要，靈活選擇是否需要訓練來優化檢索效果。經過測試，UniversalRAG 在多個測試場景中都比傳統的系統表現更好，檢索結果更準確、更有效。

核心特點

• 模態感知路由機制：傳統的 RAG 方法通常將所有模態的數據強行嵌入到一個統一的表示空間中，這會導致“模態差距”問題，即檢索傾向于偏向與查詢相同模態的內容。UniversalRAG 通過引入模態感知路由機制，動態識別最合適的模態特定語料庫，并在其中執行針對性檢索。

• 多粒度檢索：除了模態差異，UniversalRAG 還考慮了數據粒度（即語料庫中每個條目的大小或單位）。它將每種模態細分為多個粒度級別，例如文本分為段落級和文檔級，視頻分為短片段和完整視頻。這種設計可以根據查詢的復雜性和范圍進行精細化檢索。

• 多模態支持：UniversalRAG 支持文本、圖像和視頻等多種模態的檢索，能夠根據查詢的需求動態選擇最合適的模態。

主要目標

• 多模態知識檢索：設計模態感知路由機制，避免將所有模態強制納入統一表示空間導致的模態差距問題，可動態識別最合適的模態特定語料庫并進行針對性檢索。

• 多粒度知識整合：將每種模態組織到多個粒度級別，如段落級、文檔級、圖像級、剪輯級和視頻級等，能根據查詢的復雜性和范圍進行微調檢索，更靈活地適應不同查詢需求。

研究方法

• 模態感知路由機制：維護每個模態的獨立嵌入空間，引入路由模塊。該模塊可根據查詢的模態需求，動態選擇最合適的模態特定語料庫進行檢索，避免模態差距。

• 多粒度語料庫構建：考慮數據的粒度，將每種模態組織到多個粒度級別，使系統能根據查詢的復雜程度和范圍，選擇合適粒度的知識源，提供更精確全面的答案。

• 路由模塊實現：

• 無訓練路由：利用預訓練的大型語言模型（如 GPT - 4o）的知識和推理能力，通過提供指令和上下文示例，對查詢進行分類并選擇檢索類型。無需額外訓練，但可能受限于預訓練模型的偏見和知識邊界。

• 訓練路由：通過構造訓練數據集對路由模塊進行訓練，使其能更準確地預測給定查詢的最優檢索類型，更好地適應特定任務和數據集需求。

實驗設置與結果

實驗設置

• 在多個涵蓋不同模態（文本、圖像、視頻）和檢索設置的基準數據集上進行實驗，使用多種大型視覺語言模型（LVLMs）作為生成器，并設置了多個基線方法進行比較。

實驗結果

• UniversalRAG 在所有基準數據集上的平均得分優于所有基線方法，在需要多模態知識的查詢上表現突出。

• 訓練路由模型在路由模塊性能方面優于無訓練路由模型，但無訓練路由模型仍優于其他基線方法，表明零樣本路由在 UniversalRAG 框架內有效。

• 支持不同粒度的文本和視頻語料庫能顯著提高 UniversalRAG 的性能，相比沒有粒度控制的模型，其能根據查詢選擇合適粒度級別，生成更準確答案。

• 在跨領域數據集上，GPT - 4o 作為無訓練路由模型具有最高的路由準確性和平均問答得分，而訓練路由模型因訓練數據中查詢多樣性不足存在過擬合問題。引入集成路由方法，結合訓練路由和無訓練路由的優勢，在跨領域數據集上實現了更好的性能。

優勢

• 提高事實準確性：通過從多種模態和粒度的知識源中檢索信息，UniversalRAG 能夠更全面地支持模型的響應，減少因單一模態或粒度不足導致的錯誤。

• 靈活性：該框架能夠靈活處理不同類型的查詢，無論是簡單的事實性問題還是復雜的分析性問題。

• 擴展性：通過擴展路由邏輯，UniversalRAG 可以無縫集成新的模態，而無需修改現有的模態特定檢索器。

項目主頁：https://universalrag.github.io/

論文：https://arxiv.org/abs/2504.20734