Google 發布了 PaliGemma 2 Mix，一個集圖像描述、OCR、問答、目標檢測和分割于一身的開源視覺語言模型 。目的通過其多任務處理能力和靈活的模型選擇，推動視覺語言任務的進步。PaliGemma 2 Mix模型結合了多種輸入分辨率的支持，提供方便的微調選項，使它適合在多種實際場景中應用。

PaliGemma 2 Mix功能特征

• 多模態處理能力：PaliGemma 2 Mix能夠處理多種任務，包括短文本和長文本描述、光學字符識別 (OCR)、圖像問答、目標檢測和圖像分割等。

• 模型規模和分辨率的靈活性：提供3B、10B和28B參數的不同模型規模，以及224px和448px的分辨率選擇，滿足不同任務需求。

• 開發者友好：兼容主流框架如Hugging Face Transformers、Keras、PyTorch、JAX和Gemma.cpp，便于開發者使用和微調。

• 直接應用性：用戶可以直接利用該模型進行任務，無需復雜的微調過程，實現了“開箱即用”的便捷性。

• 跨模態特征融合：結合SigLIP圖像編碼器和Gemma-2B語言模型，通過線性投影層實現圖像與文本特征的有效融合，提升了模型的多模態理解能力。

PaliGemma 2 Mix應用場景

• 圖像識別與描述：自動生成圖像的詳細描述，適用于社交媒體、內容管理和搜索引擎優化。

• 視覺問答(VQA)：在教育和娛樂應用中，回答用戶關于圖像內容的問題。

• 光學字符識別(OCR)：識別圖像中的文字，用于文檔數字化、歷史文獻存檔和自動數據提取。

• 科學問題解答：在科學領域，PaliGemma 2 Mix能夠理解和回答復雜的科學問題。

• 文本相關任務：包括文本檢測、識別、表格結構識別、分子結構識別、樂譜識別等。

• 電商與內容生成：自動為商品圖片生成描述，提高產品列表的吸引力。
  

PaliGemma 2 Mix使用方法

• 安裝依賴：首先需要安裝transformers庫的4.47或更高版本。

• 加載模型：使用AutoProcessor和PaliGemmaForConditionalGeneration類加載預訓練模型。

• 圖像處理：使用PIL庫加載和處理圖像。

• 推理：將圖像和文本提示輸入模型，獲取輸出結果。

PaliGemma 2 Mix發布后，將會成開發者手里一個強大又靈活的工具，在好多視覺語言任務里都能有很好的表現。不管是識別圖像、生成圖像描述，還是解答科學問題，它都有很大的應用潛力，用起來也很實用。

Hugging Face 演示：https://huggingface.co/spaces/google/paligemma2-10b-mix

技術論文報告：https://arxiv.org/abs/2412.03555