ViDoRAG是什么？

ViDoRAG是阿里巴巴通義實驗室聯(lián)合中國科學(xué)技術(shù)大學(xué)和上海交通大學(xué)推出的視覺文檔理解檢索增強(qiáng)生成（RAG）系統(tǒng)。它利用多模態(tài)混合檢索和多智能體迭代推理機(jī)制，讓視覺文檔處理的準(zhǔn)確性和效率都得到明顯提升，人話就是說，它支持圖片類文檔的檢索，讓你可以在一堆包含圖片文檔中找到，比如“這個產(chǎn)品是什么顏色”或者“這文章講了啥？”。

ViDoRAG框架

ViDoRAG框架重點在于多智能體協(xié)作和動態(tài)迭代推理，主要有這些關(guān)鍵部分：

多模態(tài)混合檢索：把視覺和文本特征結(jié)合起來，借助高斯混合模型（GMM）動態(tài)調(diào)整檢索策略，更精準(zhǔn)地找到關(guān)鍵信息。

多智能體協(xié)作：

• Seeker Agent：能快速篩選出相關(guān)的圖像或文檔片段，給出全局線索。

• Inspector Agent：對篩選出來的結(jié)果進(jìn)行細(xì)致審查，生成初步答案。

• Answer Agent：整合初步答案，檢查其準(zhǔn)確性和一致性后，生成最終答案。

動態(tài)檢索策略：利用GMM動態(tài)調(diào)整檢索結(jié)果的數(shù)量，降低計算量，提高檢索效率。

功能特點

1. 多模態(tài)混合檢索：

• 視覺與文本雙通道檢索：ViDoRAG能同時處理視覺（圖像）和文本信息進(jìn)行檢索，更全面地理解文檔內(nèi)容。

• 高斯混合模型（GMM）融合：用GMM動態(tài)調(diào)整視覺和文本檢索結(jié)果的權(quán)重，根據(jù)查詢特點選擇最優(yōu)檢索策略，減少噪聲和計算量。

2. 多智能體協(xié)作推理：

• Seeker Agent：快速篩選相關(guān)文檔或圖像片段，縮小搜索范圍。

• Inspector Agent：詳細(xì)審查篩選出的片段，提取關(guān)鍵信息生成初步答案。

• Answer Agent：整合初步答案并驗證，生成最終答案。

• 動態(tài)迭代推理：多智能體不斷協(xié)作、迭代，讓答案越來越好。

3. 動態(tài)檢索策略：

• 自適應(yīng)檢索數(shù)量：ViDoRAG通過GMM動態(tài)調(diào)整檢索結(jié)果數(shù)量，避免固定數(shù)量檢索帶來的問題。

• 高效檢索流程：能根據(jù)查詢和文檔集合的相似度分布自動優(yōu)化檢索策略，提高檢索效率。

4. 復(fù)雜文檔理解能力：

• 視覺豐富文檔支持：可以處理包含文本、圖表、表格和復(fù)雜版式的文檔。

• 多跳推理能力：能處理單跳和多跳推理任務(wù)，應(yīng)對需要跨文檔理解的復(fù)雜查詢。

5. 高準(zhǔn)確率與性能：

• 高準(zhǔn)確率：在ViDoSeek基準(zhǔn)數(shù)據(jù)集上準(zhǔn)確率達(dá)到79.4%，比其他基線方法好很多。

• 魯棒性：多智能體協(xié)作和動態(tài)檢索策略讓ViDoRAG處理噪聲數(shù)據(jù)和復(fù)雜場景時表現(xiàn)穩(wěn)定。

應(yīng)用場景

• 視覺文檔處理：適合處理學(xué)術(shù)文獻(xiàn)、報告、手冊等視覺豐富文檔的場景。

• 問答系統(tǒng)：可作為問答系統(tǒng)的核心模塊，快速準(zhǔn)確回答問題。

• 智能辦公：能幫用戶快速提取文檔關(guān)鍵信息，提高工作效率 。

GitHub倉庫：https://github.com/Alibaba-NLP/ViDoRAG