RAG-FiT 是一個通過對特別創建的 RAG 增強數據集進行微調來提高大型語言模型（LLMs）使用外部信息能力的庫。它通過數據增強技術，幫助模型更好地從外部數據源中檢索信息，從而生成更準確和上下文相關的內容。

RAG-FiT的目的是解決傳統LLM+RAG系統中的一些關鍵問題，比如檢索到大量不相關文檔、輸入信息過長影響效率、以及不必要的計算資源浪費。

核心特點

• 數據增強與微調：RAG-FiT提供了一套流程來創建專門的數據集，這些數據集被設計用來優化模型對檢索信息的利用。通過參數高效的微調（PEFT），模型可以在不顯著增加模型大小的情況下學習如何更好地利用外部信息。

• 優化檢索過程：它包括一個相似度檢索器，能夠從大型語料庫中高效召回與查詢相關的文檔，減少噪聲信息的干擾。

• 雙標簽文檔評分：引入了一個分類器，該分類器不僅判斷文檔是否包含答案（事實信息判斷），還評估文檔是否對生成回答有利（模型偏好），從而提高了檢索信息的相關性和質量。

• 自我知識識別：通過分析查詢是否需要額外的檢索信息，減少不必要的檢索操作，這有助于提高效率并減少輸入的令牌數量。

• 子文檔級令牌減少：進一步優化檢索到的信息，通過選擇性地組合和壓縮文檔片段，確保輸入給LLM的信息更加精煉和相關。

RAG-FiT作用：

• 個性化推薦：通過分析用戶的歷史數據和偏好，RAG-FiT能夠提供個性化的內容推薦，提升用戶體驗。

• 多模態學習：RAG-FiT可以結合文本、圖像等多種數據類型，增強模型在處理復雜任務時的能力。

• 實時信息更新：在動態環境中，RAG-FiT能夠實時檢索和整合最新的信息，確保生成的內容始終保持最新和相關。

• 跨領域應用：RAG-FiT的靈活性使其能夠適用于多個領域，如醫療、金融、教育等，幫助不同領域的專業人士獲取所需的信息和支持。

RAG-FiT的應用：

• 知識問答：通過結合外部知識庫，RAG-FiT能夠在回答用戶問題時提供更為準確的信息，尤其是在專業領域。

• 文本生成：在生成文本時，RAG-FiT可以從外部數據源中檢索相關信息，增強生成內容的準確性和相關性。

• 數據增強：RAG-FiT可以用于創建增強的數據集，通過對現有數據進行擴展，提升模型的訓練效果。

• 實驗研究：RAG-FiT還可以用于學術研究，幫助研究人員探索和驗證不同的RAG架構和方法的有效性

GitHub：https://github.com/IntelLabs/RAG-FiT