OmniParse ，一個開源的數(shù)據(jù)清理和整理的自動化工具，它能夠?qū)⒏鞣N非結(jié)構化數(shù)據(jù)（如文檔、圖片、視頻等）轉(zhuǎn)換為結(jié)構化數(shù)據(jù)的平臺，便于 ai 應用程序使用。您可以在其中攝取任何類型的數(shù)據(jù)，例如文檔、圖像、音頻、視頻和 Web 內(nèi)容，并獲得最結(jié)構化和可操作的輸出。

OmniParse支持20多種文件類型。所有的數(shù)據(jù)處理都在本地完成，不需要通過外部API，從而確保用戶的數(shù)據(jù)隱私和安全。

OmniParse數(shù)據(jù)解析與優(yōu)化功能：

• 完全本地化，無外部API

• 適合 T4 GPU

• 支持約 20 種文件類型

• 使用 Docker 和 Skypilot 輕松部署

• Colab 友好

• 由Gradio 提供支持的交互式 UI 

• 將文檔、圖像、音頻、視頻和網(wǎng)頁內(nèi)容轉(zhuǎn)換為高質(zhì)量的結(jié)構化Markdown格式。

• 文檔解析：將文本內(nèi)容提取并轉(zhuǎn)換為結(jié)構化格式。

• 圖像處理：圖像提取和字幕生成。

• 音視頻轉(zhuǎn)錄：將音頻和視頻內(nèi)容轉(zhuǎn)錄為文本。

• 網(wǎng)頁爬取：自動爬取網(wǎng)頁內(nèi)容并進行解析。

OmniParse 作為能將非結(jié)構化數(shù)據(jù)攝取和解析為結(jié)構化、可操作的格式的平臺。針對涉及生成式 AI (GenAI) 和大型語言模型 (LLM) 的應用程序進行了優(yōu)化。它采用Golang實現(xiàn)，支持ETL（Extract、Transform、Load）流式解析和轉(zhuǎn)換。最新的架構版本是omni.2.1，其中包括重大更新和改進。

OmniParse Github地址：https://github.com/adithya-s-k/omniparse